| 研究実績の概要 |
本研究課題では、ピアアセスメントにおける評価の信頼性を改善するために、評価者のバイアスを取り除いて学習者の真の能力を高精度に推定できる数理モデルとそのパラメータ推定法を提案した。提案モデルは、数理モデルを用いたテスト理論のひとつとして広く知られる項目反応理論に対し、評価者の厳しさと一貫性を表すパラメータを付与したモデルとして定式化した。提案モデルには、信頼性改善に有益な必要最小限の評価者パラメータのみを付与したため、既存モデルよりも評価者の増加に伴う評価者パラメータ数の増加が緩慢となっている。パラメータの推定精度は、一般にパラメータ数に対してデータ数が増加するほど改善し、それは能力評価の信頼性改善に寄与する。したがって、提案モデルは、評価者数が増加する場合に既存モデルの中で最も信頼性の高い能力評価を実現できる。さらに、本研究では、スパースデータに対するパラメータ推定精度の低下を回避するために、提案モデルのパラメータ推定法として階層ベイズモデリングを用いたベイズ推定法を提案した。また、シミュレーション実験と被験者実験により、提案手法の有効性を評価した。
最終年度である平成28年度には、研究成果を国内外で広く発表するともに、提案手法の応用研究も進めた。本研究の成果は、平成28年度にトップジャーナルであるIEEE Transactions on Learning Technologies, Computer Society とテスト分野の専門論文誌であるテスト学会誌に査読付き論文が掲載されている。さらに、提案手法を発展・応用した研究を国際会議と国内研究会で発表し、そのうちの一件では大会発表賞を受賞した。提案技術は様々な評価データに適用できる基礎技術であり、特に入試改革により論述式・記述式テストの導入が検討されている教育評価分野においては、その実用化が強く期待されている。
|
