2022 Fiscal Year Research-status Report
An examination to improve the degree of agreement among raters in the Japanese Language Reading Test
| Project/Area Number |
22K03068
|
|---|
| Research Institution | International Pacific University |
|---|
Principal Investigator |
安永 和央 環太平洋大学, 次世代教育学部, 准教授 (80777665)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
野口 裕之 名古屋大学, 教育発達科学研究科, 名誉教授 (60114815)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 国語テスト / 大学入試 / 記述式問題 / 評定者 / 評価基準 / 解答類型 / 一致度 |
|---|
| Outline of Annual Research Achievements |
本年度は、国語の大学入試問題における記述式問題を対象に、「正答」、「誤答」、「無回答」の3段階の評価基準（解答類型）を用いて評価した際、評定者が能力評価にどのような影響を及ぼすかについて検討した。大学入試問題を基に作成された国語テスト（多肢選択式問題6問、求答形式問題1問、記述式問題7問）を高校2年生約300名に実施した。本研究で検討した設問は5つの記述式問題であった。評定については、著者及び評価の訓練を受けた2名の計3名の評定者が評価基準に従って回答を評価した。まず、段階的な評価基準（例えば、「正答」、「準正答」、「誤答」、「無回答」）で評定されたデータを、簡潔な評価基準（「正答」、「誤答」、「無回答」の3段階）のデータに変換した。次に、Fleissのκ係数を求め、3名の評価がどの程度一致しているかを検討した。簡潔な評価基準で評価した場合、3名の評定者の評価の一致度はかなりの一致からほとんど完全な一致となった。また、先行研究との比較から、段階的な評価基準で評価するよりも簡潔な評価基準で評価する方が、評定者間の一致度は高い値となった。段階的な評価基準では「準正答」があるため、例えば「準正答」と「誤答」の間で評価の判断が分かれるが、簡潔な評価基準では「準正答」がなく、「正答」以外は「誤答」に振り分けられることにより、評定者間の評価が一致しやすくなったと予想される。他方、求められる回答字数が多い設問（110字以内）では、先行研究との比較から、簡潔な評価基準で評価した場合でも、段階的な評価基準で評価した場合と一致度の値はあまり変わらなかった。回答字数が多い設問では、受験者の回答はより多様となり得る。そのため、簡潔な評価基準を用いた場合でも評定者の判断は難しくなり、評価が一致しにくくなったと推察される。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度は、研究実績の概要で説明した研究に加え、評定者の数を複数設定して、評定者の人数が評価に及ぼす影響について検討することを計画していた。しかしながら、後者に関する研究を実施することができず、今後の課題としたため、現在までの進捗状況はやや遅れていると判断した。
|
| Strategy for Future Research Activity |
今後は、国語科試験問題の回答データを対象に、評定者の数を複数設定し（A条件：数名、B条件：A条件より多数、C条件：B条件より多数）、評定者の人数が評価に及ぼす影響について検討する予定である。
|
| Causes of Carryover |
現在までの進捗状況の理由で述べた通り、本年度の研究計画の1つが実施できず、次年度の課題としたため、次年度使用額が生じた。次年度は評価の一致度に影響を及ぼす要因として、評定者の人数に着目し、この要因について検討することを考えている。評定者としては採点経験がある教育関係の人を考えており、複数の評定者に評価を依頼する場合、その謝金として多額の研究支援者雇用費が必要となる。
|
