2020 Fiscal Year Annual Research Report
The effect of raters and scoring rubric on the score of descriptive test.
| Project/Area Number |
18K13298
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
安永 和央 九州大学, アドミッションセンター, 准教授 (80777665)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 国語テスト / 大学入試 / 記述式問題 / 評定者 / 評価基準 / 一致度 / 回答欄 / 字数制限 |
|---|
| Outline of Annual Research Achievements |
本年度は、国語の大学入試問題を用いて、回答（解答）欄の字数制限がある場合と字数制限がない場合に回答を評価する評定者が能力評価にどのような影響を及ぼすかについて検討した。高校2年生約300名を対象に、大学入試問題を基に作成された国語テスト（多肢選択式問題6問、求答形式問題1問、記述式問題7問）を実施した。これらの設問のうち、A条件：字数制限あり、B条件：字数制限なしの回答欄を設定した2つの設問について検討した。設問の内容は、設問1：人間の社会とゴリラの社会にどのような共通点があるかを説明する問題、設問2：人間の社会とゴリラの社会にどのような相違点があるかを説明する問題であった。設問1では、A条件：50字以内で説明せよ、B条件：字数制限なし、設問2では、A条件：70字以内で説明せよ、B条件：字数制限なしの回答欄を設定した。訓練を受けた3名の評定者が評価基準に従って回答を評価した。分析ではFleissのκ係数を求め、3名の評価がどの程度一致しているかを検討した。分析の結果、設問1のA条件では、3名の評価はかなりの一致を示した。他方、B条件では一致度の値がA条件よりも高く、ほぼ一致していた。設問2ではA条件、B条件ともにかなりの一致を示したが、B条件の方がA条件よりも値が高かった。回答欄に字数制限がない場合、受験者の回答字数は少ないものから多いものまで幅広くなる。字数が多い回答を評価する場合、評定者が判断すべき箇所が増えるため、字数制限が定められている場合よりも評価の一致度が低くなることが予想される。しかし、本研究の結果はこの予想と異なり、字数制限がある条件よりも字数制限がない条件の方が一致度の値は高くなった。その原因の一つとして、字数制限がない条件の方が、誤答の判断がしやすかった可能性が考えられる。今後は、一致度の高低と回答内容との関係について詳細に検討する予定である。
|
