国語科試験問題における評定者間の一致度を促進する評価方法の検討

研究課題

研究課題/領域番号	22K03068
研究種目	基盤研究(C)
配分区分	基金
応募区分	一般
審査区分	小区分10020:教育心理学関連
研究機関	環太平洋大学
研究代表者	安永和央環太平洋大学, 次世代教育学部, 准教授 (80777665)
研究分担者	野口裕之名古屋大学, 教育発達科学研究科, 名誉教授 (60114815)
研究期間 (年度)	2022-04-01 – 2025-03-31
研究課題ステータス	交付 (2023年度)
配分額 *注記	4,160千円 (直接経費: 3,200千円、間接経費: 960千円) 2024年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円) 2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円) 2022年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワード	国語テスト / 大学入試 / 記述式問題 / 字数制限 / 評定者 / 評価基準 / 解答類型 / 一致度 / 国語科試験問題 / 記述式テスト / 評価の一致度
研究開始時の研究の概要	本研究では，国語科試験問題を対象に，評定者間の一致度を促進する評価方法について検討することを目的する。具体的には，①評定者間の評価の一致度を促進する要因に関する検討（研究1），②研究1で得られた知見を確認するための妥当性の研究（研究2），③実用的な図や表を含むテキストを用いた国語テストを作成し，研究1と研究2の知見を活かした評価方法を実践する研究（研究3）の3つを実施する。
研究実績の概要	本年度は、国語の記述式問題を対象に、回答欄の字数制限の有無と評価基準の違いが、複数の評定者間の評価の一致度に及ぼす影響について検討を行った。大学入試問題を基に作成された国語テスト（14問）を高校2年生約300名に実施した。本研究では2つの設問を検討した。設問Ⅰでは、A条件：50字以内で説明せよ、B条件：字数制限なし、設問Ⅱでは、A条件：70字以内で説明せよ、B条件：字数制限なしの2種類の回答欄を設定した。評定については、著者及び評価の訓練を受けた2名の計3名の評定者が評価基準に従って回答を評価した。まず、段階的な評価基準（例えば、「正答」、「準正答」、「誤答」、「無回答」）で評定されたデータを、簡潔な評価基準（「正答」、「誤答」、「無回答」の3段階）のデータに変換した。次に、Fleissのκ係数を求め、3名の評価がどの程度一致しているかを検討した。簡潔な評価基準で評価した場合、3名の評定者の評価の一致度は、A条件ではかなりの一致からほとんど完全な一致、B条件では中程度の一致からほとんど完全な一致となった。また、段階的な評価基準を用いた先行研究との比較から、簡潔な評価基準で評価する方が、設問ⅡのB条件を除いて、評定者間の一致度は高い値となった。段階的な評価基準では「準正答」があるため、例えば「準正答」と「誤答」の間で評価の判断が分かれるが、簡潔な評価基準では「準正答」がなく、「正答」以外は「誤答」に振り分けられるため、評定者間の評価が一致しやすくなったと予想される。他方、設問ⅡのB条件の一致度が先行研究よりも低くなった理由としては、得点率の低さと回答字数の多さが考えられる。多くの受験者が誤答していると考えられ、かつ、回答字数が多く、評定者が判断するための情報が多い場合、「正答」か「誤答」かを判断する簡潔な評価基準の方が、評定者間で違いが生じやすくなるのではないかと推察される。
現在までの達成度 (区分)	現在までの達成度 (区分) 3: やや遅れている理由本年度は、評定者の人数が評価の一致度に及ぼす影響と、その際の評価基準の違いが評価の一致度に及ぼす影響について検討することを計画していたが、これらを検討する前に既存のデータを用いて、回答欄の字数制限の有無と評価基準の違いが評定者間の評価の一致度に及ぼす影響について検討を行った（研究実績の概要で説明した研究）。このことにより、当初計画していた研究を次年度実施することとしたため、現在までの進捗状況はやや遅れていると判断した。
今後の研究の推進方策	今後は、①評定者の数を複数設定し（A条件：数名、B条件：A条件より多数、C条件：B条件より多数）、評定者の人数が評価の一致度に及ぼす影響について検討を行うこと、②評価の際には、2種類の評価基準（評価基準1：「正答」、「誤答」、「無回答」の基準、評価基準2：例えば、評価基準1に「準正答」を含めた段階的な基準）を用いて、それぞれの評価基準による評価の一致度について検討を行うことの2つの研究を実施する予定である。