| 研究課題/領域番号 |
17300088
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 研究分野 |
統計科学
|
|---|
| 研究機関 | 東北大学 (2007)
新潟大学 (2005-2006) |
|---|
研究代表者 |
柴山 直 東北大学, 大学院・教育学研究科, 教授 (70240752)
|
|---|
| 研究分担者 |
前田 忠彦 統計数理研究所, データ科学研究系, 准教授 (10247257)
新田 克己 東京工業大学, 大学院・総合理工学研究科, 教授 (60293073)
野口 裕之 名古屋大学, 大学院・教育発達科学研究科, 教授 (60114815)
町村 泰貴 北海道大学, 大学院・法学研究科, 教授 (60199726)
藤本 亮 静岡大学, 大学院・法務研究科, 教授 (80300474)
|
|---|
| 研究期間 (年度) |
2005 – 2007
|
| 研究課題ステータス |
完了 (2007年度)
|
| 配分額 *注記 |
15,640千円 (直接経費: 14,800千円、間接経費: 840千円)
2007年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2006年度: 4,600千円 (直接経費: 4,600千円)
2005年度: 7,400千円 (直接経費: 7,400千円)
|
|---|
| キーワード | 論述式試験 / 小論文 / 自動採点 / パフォーマンスアセスメント / 一般化可能性理論 / テスト / 信頼性 / 評価 / パフォーマンス・アセスメント / 採点 / 論述式 / 欠測値 / キーワードマッチング法 |
|---|
| 研究概要 |
手続き
1)平成17年度においては、循環型の採点者配置にもとづき2つの異なる問題に解答した答案をのべ20名の採点者で採点し、のべ5160枚に及ぶ採点結果を得ることができた。またこれらの答案をテキストファイル化し、自動採点システムの開発のための資料とした。
2)平成18年度においては、10名の採点者のもとに一人280枚の小論文答案を採点しあらたな採点データを収集した。採点の対象となった答案をテキストファイル化し、自動採点システムの改良に利用した。
主要な結果
1)現実的制約下での最適な採点者配置:必要な制度を確保しつつ効率のよい採点者割り当てを達成する手段として、採点者が担当する対象論文を重複させつつ、一つの論文に対して複数の採点者が採点しながらも、一人の採点者がすべての論文を採点しない、循環型の採点者配置を提案した。
2)適切な採点基準の構成:採点者配置デザインと信頼性の評価について、測値をともなうデータに対する一般化可能性理論の適用とANOVA的アプローチによる欠測値の補完の両面から信頼性の評価方法を提案した。
3)自動採点システムの開発:昨年度開発したAI的推論機能を用いた自動採点システムに、パターン識別手法の一つであるSVM(support Vector Machine)の観点から大幅な改良を加えた。その結果、サンプル採点答案数が200程度あれば、人間の採点者と同程度の採点が可能であるところまで採点精度を向上させることができた。このことは膨大な採点対象答案がある場合に、このシステムを用いることで採点時間の大幅な短縮が見込めることを意味する。
|
