|
本研究は、しばしば英語学習者のリーディング能力を測定するテストとして使用されている音読テストの信頼性一測定の一貫性に焦点をあて、それを高めることを目的としたものである。
研究手法としては、大学生英語学習者26名に対して実施された音読テストのパフォーマンスを、2名の英語教員で評価を行ない、さらに、評定者に構えがある場合とない場合とでどの程度、信頼性に違いがあらわれるか比較を行なった。構えありでは、事前に、平均的であると判断される基準について評定者同士で確認しあい、また教育目標や音読テストの実施手続きの詳細についても互いに確認しあった。一方、構えなしでは、採点版の解釈など全て評定者個人に任せられた。
まず、「Q1.評定者の構えの違いは、文章音読テストの信頼性に影響を与えるか」に関して、結果は次の3点にまとめられる。第1に、評定開始前に評定者同士で互いに構えについて確認しあった場合(構えあり)のほうが、そうでない場合(構えなし)よりも観点別の5段階の評定がより機能していた(F検定の結果から)。第2に、構えの有無にかかわらず、両者の間には十分な信頼性があり、またそれらの間に違いはなかった(相関分析および一般化可能性理論から)。第3に、構えありの場合のほうが構えなしの場合よりも評定者の違いが学習者によって変動を受けるという、信頼性の観点からは望ましくない結果がみられた(一般化可能性理論から)。そして、「Q2.音読テストの評定において十分な信頼性を得るために必要な評定者数および観点の数はいくつが適切か」に関しては、十分な信頼性を確保するためには、2人の評定者で3観点以上用意する必要があるとの結果が示された(一般化可能性理論から)。
以上より、今後、英語学習者を対象に実施される音読テストについて、特に評定という点からいくつかの示唆を提示することができた。
|
