論述式試験の採点システム構築に関する統計科学的研究

2005 Fiscal Year Annual Research Report

• Project/Area Number: 17300088
• Research Institution: Niigata University
• Principal Investigator: 柴山 直 新潟大学, 人文社会・教育科学系, 教授 (70240752)
• Co-Investigator(Kenkyū-buntansha): 前田 忠彦 統計数理研究所, データ科学研究系, 助教授 (10247257) ; 新田 克己 東京工業大学, 大学院総合理工学研究科, 教授 (60293073) ; 野口 裕之 名古屋大学, 大学院・教育発達科学研究科, 教授 (60114815) ; 藤本 亮 静岡大学, 人文学部, 助教授 (80300474) ; 町村 泰貴 南山大学, 大学院・法務研究科, 教授 (60199726)
• Keywords: 小論文 / 論述式 / 採点 / 自動採点 / 欠測値 / 一般化可能性理論 / キーワードマッチング法 / パフォーマンス・アセスメント

Research Abstract

1.採点デザイン構築法に関する理論的・方法的検討(担当:前田・柴山・野口)
全ての採点者が全ての採点対象を評価する採点計画ではなく,時間的人的資源の制約下で,一部の評定対象を重複させながら複数の評定者が分担するデザインを基本とした。2種類の互いに異なる内容の記述式問題に対しそれぞれ異なる受験者群からなる答案を無作為抽出により準備した。採点方法は分析的採点と包括的採点の2通りがある。また上とは別に100名の協力者からなる回答者群を準備し,2つの問題ともに回答したものを採点するデザインも設定した。
2.採点の実施による採点データの作成(担当:町村・醍醐・前田・藤本・野口・柴山)
1の採点デザインに基づき,2005年6月から7月の間に2つの問題に回答した答案を収集した。また同年8月4日から7日にかけて,採点デザインに従い,のべ20名の採点者の協力を得てのべ5160枚におよぶ採点結果を得ることができた。
3.採点データの解析(担当:前田・柴山・藤本・藤田)
解析には一般化可能性理論からのアプローチと不完全多変量データの分析手法からのアプローチを取った。前者によって採点者間の(採点基準のバラツキに起因する)採点のバラツキを考慮した,採点システム全体の信頼性を推定できた。後者のアプローチにより採点者間の基準の違いを吸収するような換算得点が求められた。
4.自動採点システム(担当:新田)
電子テキスト化された答案データからAI的手法による採点システムの開発を行った。成果としては,問題文内容に踏み込んで論理性を判断するシステムの構築,採点基準のコンセプトを定量化する指標の発見,システムによる採点結果と人間の採点結果との高い相関を確認できたことがあげられる。