2019 Fiscal Year Research-status Report
The effect of raters and scoring rubric on the score of descriptive test.
| Project/Area Number |
18K13298
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
安永 和央 九州大学, アドミッションセンター, 准教授 (80777665)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 国語テスト / 大学入試 / 記述式問題 / 評定者 / 評価基準 / 一致度 |
|---|
| Outline of Annual Research Achievements |
本年度は、国語の大学入試問題を用いて、評定者が能力評価にどのような影響を及ぼすかについて検討した。高校2年生約300名を対象に、大学入試問題を基に作成された国語テスト（多肢選択式問題6問、求答形式問題1問、記述式問題7問）を実施し、3名の評定者が評価基準に従って回答（解答）を評価した。本研究では、この3名の評価がどの程度一致しているかを検討した。本研究で検討した設問は、多肢選択式問題6問、求答形式問題1問、記述式問題5問であった。分析の結果、まず多肢選択式問題においては、ほぼ完全に一致していたが、6問中5問において評価にわずかなズレが生じていた。これは、評価する際の記載ミス（評定ミス）や評価結果をエクセルファイルに打ち込む際の入力ミスが原因だと推察される。次に、正答が一つに定まる求答形式問題においては、評価が完全に一致していた。多肢選択式問題では、評価基準の段階数が、選択肢の数（例えば、「ア」に回答、「イ」に回答、「ウ」に回答、「エ」に回答）、選択肢以外の回答（誤答）、無回答と多くなるが、求答形式問題では、正答、誤答、無回答の3つとなるため、多肢選択式問題に比べてミスが生じにくかったと考えられる。最後に記述式問題においては、中程度の一致からかなりの一致まで様々であった。受験者の回答を分類する際に、正答に求められる条件が複雑ではなく、特定の内容が書かれているかどうかを判断するような設問においては、かなりの一致を示した。他方、正答に求められる条件が複雑で、かつ、注意点における判断が評定者に委ねられる設問においては、一致度の値が中程度となった。また、回答（解答）で求められる字数が多い設問においても一致度の値は高くなかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、昨年度検討したテストの回答（解答）および評価基準を用いて、評定者が能力評価に及ぼす影響について検討することを計画しており、おおむね計画通りに研究を進められたため。
|
| Strategy for Future Research Activity |
今後は、設問内容と受験者の回答（解答）、評価基準、3名の評定者の評価結果を詳細に検討することにより、評定者が能力評価に及ぼす影響についてさらに検討を進める予定である。
|
