|
本研究は、話者の意図に関する知識等を含む英語の語用論的能力を測る2種類の熟達度テスト(Discourse Complention Test:DCTとRole play)を開発し、日本人学習者を受験者とした場合の信頼性・妥当性を調査した。まず、2つのテストに対する同一の基準領域として、「依頼」と「拒絶」の2つの発話行為を選び、(1)話者との力関係、(2)親疎の度合、(3)発話行為がもたらす結果の重要さ、の3つの変数を変化させた問題を、DCT用に16問、Role Play用に8問作成した。DCTは、43人の被験者、Role Playは、12人の被験者に対して実施した。評価の方法としては、DCT用としては、「適切さ」と「文法・構造」の2項目、Role Playでは、この2項目に「発音」を加えた3項目の詳しい評価用基準を作成し、2人の、訓練を受けた英語母国語話者に採点してもらった。主な結果は、以下の通りである。
(1)DCT、Role playの大部分の問題は、評点者相互間の相関が、比較的高く(0.6-0.8)、使用した評価基準は、信頼性があると言える。
(2)テストの妥当性を調べるため、multi-trait-multi-method方式を採用し、DCT、Role Playの上記3項目の各得点と、語用論的能力以外の英語力を測っていると思われる標識テスト(CELT)の総得点との相関を比較したところ、DCT、Role Play共に、「文法・構造」や「発音」得点の方が、「適切さ」得点よりも、CELT総得点との相関が高く、ある程度の妥当性を証明した。しかし、同一テスト内での得点間相互の相関はさらに高く、強いテスト方法要因があることを示唆した。
(3)解答の質的比較においては、Role Playのほうが、実際の言語使用面に近いため、総語数、相手とのやり取り(turns)数が、DCTより多かった。また、発音、ジェスチャー等も評価の対象となるためか、「適切さ」得点には、DCTとRole Play間に有意の相関は、見られなかった(相関0.58)。
|
