|
平成25年度は、平成24年度の研究にて暫定的に得られた要約評価用の評価尺度を精緻化するために、言語テスティングの専門家3名に対して「専門家の判断（expert judgment）」を求め、得られたコメントを集約することで尺度の改善を行った。その際には、以下の3点を観点として取り入れた。(1) 評価のみを目的とした尺度ではなく、指導時にも到達目標とすることができる尺度とする。(2) 観点が多く複雑にならないようにし、その記述子を簡潔なものとする。(3) 英語母語話者教員、日本人大学教員、大学生が使いやすいように日英語併記とする。
その結果、評価尺度の記述子の修正が行われ、「全体的な要約の質（Overall Quality）」の追加が行われ、5つの観点の評価尺度となった。そして、「全体的な要約の質」の観点を含めた場合、世界的に用いられているETS (Educational Testing Service) の尺度よりも高い採点者間信頼性が確認された。ただし、評定者数を減らした場合の一般化可能性係数は十分とはいえず、観点の解釈の補助、および評定者トレーニングの余地があることが確認された。
この「専門家の判断」による評価尺度の改良を受けて、外部評価者（英語母語話者3名、日本人英語教員3名）に対して、改良版の評価尺度の試用を依頼した。得られた評価結果を量的に、そして評価における記述コメントを質的に分析することで、以下のことが分かった。(a) 改良された5つの観点の評価尺度の信頼性は高く、また評価者からのコメントも好意的なものであった。(b) その高い信頼性は、「全体的な要約の質」の項目を追加したことによって得られていると判断された。
|
