2023 Fiscal Year Research-status Report
An examination to improve the degree of agreement among raters in the Japanese Language Reading Test
| Project/Area Number |
22K03068
|
|---|
| Research Institution | International Pacific University |
|---|
Principal Investigator |
安永 和央 環太平洋大学, 次世代教育学部, 准教授 (80777665)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
野口 裕之 名古屋大学, 教育発達科学研究科, 名誉教授 (60114815)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 国語テスト / 大学入試 / 記述式問題 / 字数制限 / 評定者 / 評価基準 / 解答類型 / 一致度 |
|---|
| Outline of Annual Research Achievements |
本年度は、国語の記述式問題を対象に、回答欄の字数制限の有無と評価基準の違いが、複数の評定者間の評価の一致度に及ぼす影響について検討を行った。大学入試問題を基に作成された国語テスト（14問）を高校2年生約300名に実施した。本研究では2つの設問を検討した。設問Ⅰでは、A条件：50字以内で説明せよ、B条件：字数制限なし、設問Ⅱでは、A条件：70字以内で説明せよ、B条件：字数制限なしの2種類の回答欄を設定した。評定については、著者及び評価の訓練を受けた2名の計3名の評定者が評価基準に従って回答を評価した。まず、段階的な評価基準（例えば、「正答」、「準正答」、「誤答」、「無回答」）で評定されたデータを、簡潔な評価基準（「正答」、「誤答」、「無回答」の3段階）のデータに変換した。次に、Fleissのκ係数を求め、3名の評価がどの程度一致しているかを検討した。簡潔な評価基準で評価した場合、3名の評定者の評価の一致度は、A条件ではかなりの一致からほとんど完全な一致、B条件では中程度の一致からほとんど完全な一致となった。また、段階的な評価基準を用いた先行研究との比較から、簡潔な評価基準で評価する方が、設問ⅡのB条件を除いて、評定者間の一致度は高い値となった。段階的な評価基準では「準正答」があるため、例えば「準正答」と「誤答」の間で評価の判断が分かれるが、簡潔な評価基準では「準正答」がなく、「正答」以外は「誤答」に振り分けられるため、評定者間の評価が一致しやすくなったと予想される。他方、設問ⅡのB条件の一致度が先行研究よりも低くなった理由としては、得点率の低さと回答字数の多さが考えられる。多くの受験者が誤答していると考えられ、かつ、回答字数が多く、評定者が判断するための情報が多い場合、「正答」か「誤答」かを判断する簡潔な評価基準の方が、評定者間で違いが生じやすくなるのではないかと推察される。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度は、評定者の人数が評価の一致度に及ぼす影響と、その際の評価基準の違いが評価の一致度に及ぼす影響について検討することを計画していたが、これらを検討する前に既存のデータを用いて、回答欄の字数制限の有無と評価基準の違いが評定者間の評価の一致度に及ぼす影響について検討を行った（研究実績の概要で説明した研究）。このことにより、当初計画していた研究を次年度実施することとしたため、現在までの進捗状況はやや遅れていると判断した。
|
| Strategy for Future Research Activity |
今後は、①評定者の数を複数設定し（A条件：数名、B条件：A条件より多数、C条件：B条件より多数）、評定者の人数が評価の一致度に及ぼす影響について検討を行うこと、②評価の際には、2種類の評価基準（評価基準1：「正答」、「誤答」、「無回答」の基準、評価基準2：例えば、評価基準1に「準正答」を含めた段階的な基準）を用いて、それぞれの評価基準による評価の一致度について検討を行うことの2つの研究を実施する予定である。
|
| Causes of Carryover |
現在までの進捗状況の理由で述べた通り、当初予定していたの2つの研究を次年度の課題としたため、次年度使用額が生じた。次年度計画している研究を実施するために、複数の評定者として、採点経験がある教育関係の人に依頼することを考えており、その謝金として研究支援者雇用費が必要となる。
|
