2007 Fiscal Year Annual Research Report
論述式試験の採点システム構築に関する統計科学的研究
| Project/Area Number |
17300088
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
柴山 直 Tohoku University, 大学院・教育学研究科, 教授 (70240752)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
前田 忠彦 統計数理研究所, データ科学研究系, 准教授 (10247257)
新田 克己 東京工業大学, 大学院・総合理工学研究科, 教授 (60293073)
野口 裕之 名古屋大学, 大学院・教育発達科学研究科, 教授 (60114815)
町村 泰貴 北海道大学, 大学院・法学研究科, 教授 (60199726)
藤本 亮 静岡大学, 大学院・法務研究科, 教授 (80300474)
|
|---|
| Keywords | 論述式試験 / 小論文 / 自動採点 / パフォーマンス・アセスメント / 一般化可能性理論 / テスト / 信頼性 / 評価 |
|---|
| Research Abstract |
本研究の目的は、ともすれば主観的判断に依存しがちな論述式試験のための採点続きに対して、統計科学的および情報科学的なアプローチにより、最適な採点システムを設計するノウハウを提案することにある。そのため、課題を、(a)現実的制約下での最適な採点者配置の方法、(b)適切な採点基準の構成手続き、(c)採点者間の相違を調整するスコアリング法の開発、にわけた。
具体的には、(a)においては、必要な制度を確保しつつ効率のよい採点者割り当てを達成する手段として、採点者が担当する対象論文を重複させつつ、一つの論文に対して複数の採点者が採点しながらも、一人の採点者がすべての論文を採点しない、循環型の採点者配置を提案した。
(b)においては、本年度は昨年度開発したAI的推論機能を用いた自動採点システムに、パターン識別手法の一つであるSVM(support Vector Machine)の観点から大幅な改良を加えた。その結果、サンプル採点答案数が200程度あれば、人間の採点者と同程度の採点が可能であるところまで採点精度を向上させることができた。このことは膨大な採点対象答案がある場合に、このシステムを用いることで採点時間の大幅な短縮が見込めることを意味する。
(c)においては採点者配置デザインと信頼性の評価について、欠測値をともなうデータに対する一般化可能性理論の適用とANOVA的アプローチによる欠測値の補完の両面から信頼性の評価方法を提案した。
|
