An examination to improve the degree of agreement among raters in the Japanese Language Reading Test
Project/Area Number |
22K03068
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 10020:Educational psychology-related
|
Research Institution | International Pacific University |
Principal Investigator |
安永 和央 環太平洋大学, 次世代教育学部, 准教授 (80777665)
|
Co-Investigator(Kenkyū-buntansha) |
野口 裕之 名古屋大学, 教育発達科学研究科, 名誉教授 (60114815)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
Keywords | 国語テスト / 大学入試 / 記述式問題 / 評定者 / 評価基準 / 解答類型 / 一致度 / 国語科試験問題 / 記述式テスト / 評価の一致度 |
Outline of Research at the Start |
本研究では,国語科試験問題を対象に,評定者間の一致度を促進する評価方法について検討することを目的する。具体的には,①評定者間の評価の一致度を促進する要因に関する検討(研究1),②研究1で得られた知見を確認するための妥当性の研究(研究2),③実用的な図や表を含むテキストを用いた国語テストを作成し,研究1と研究2の知見を活かした評価方法を実践する研究(研究3)の3つを実施する。
|
Outline of Annual Research Achievements |
本年度は、国語の大学入試問題における記述式問題を対象に、「正答」、「誤答」、「無回答」の3段階の評価基準(解答類型)を用いて評価した際、評定者が能力評価にどのような影響を及ぼすかについて検討した。大学入試問題を基に作成された国語テスト(多肢選択式問題6問、求答形式問題1問、記述式問題7問)を高校2年生約300名に実施した。本研究で検討した設問は5つの記述式問題であった。評定については、著者及び評価の訓練を受けた2名の計3名の評定者が評価基準に従って回答を評価した。まず、段階的な評価基準(例えば、「正答」、「準正答」、「誤答」、「無回答」)で評定されたデータを、簡潔な評価基準(「正答」、「誤答」、「無回答」の3段階)のデータに変換した。次に、Fleissのκ係数を求め、3名の評価がどの程度一致しているかを検討した。簡潔な評価基準で評価した場合、3名の評定者の評価の一致度はかなりの一致からほとんど完全な一致となった。また、先行研究との比較から、段階的な評価基準で評価するよりも簡潔な評価基準で評価する方が、評定者間の一致度は高い値となった。段階的な評価基準では「準正答」があるため、例えば「準正答」と「誤答」の間で評価の判断が分かれるが、簡潔な評価基準では「準正答」がなく、「正答」以外は「誤答」に振り分けられることにより、評定者間の評価が一致しやすくなったと予想される。他方、求められる回答字数が多い設問(110字以内)では、先行研究との比較から、簡潔な評価基準で評価した場合でも、段階的な評価基準で評価した場合と一致度の値はあまり変わらなかった。回答字数が多い設問では、受験者の回答はより多様となり得る。そのため、簡潔な評価基準を用いた場合でも評定者の判断は難しくなり、評価が一致しにくくなったと推察される。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度は、研究実績の概要で説明した研究に加え、評定者の数を複数設定して、評定者の人数が評価に及ぼす影響について検討することを計画していた。しかしながら、後者に関する研究を実施することができず、今後の課題としたため、現在までの進捗状況はやや遅れていると判断した。
|
Strategy for Future Research Activity |
今後は、国語科試験問題の回答データを対象に、評定者の数を複数設定し(A条件:数名、B条件:A条件より多数、C条件:B条件より多数)、評定者の人数が評価に及ぼす影響について検討する予定である。
|
Report
(1 results)
Research Products
(2 results)