|
近年，深層学習を用いた小論文自動採点技術が高精度を達成している．深層学習自動採点モデルの学習は多数の採点済み小論文データを用いて行われるが，小論文を人間の評価者が採点する際には，評価者ごとの採点基準の差異によってデータにバイアスが生じる問題がある．そのようなバイアスデータから自動採点モデルを学習すると，自動採点モデルにもバイアスの影響が反映されてしまい，得点予測の性能が低下してしまう．一方で，研究代表者は，評価者バイアスの影響を考慮して真の評価点を推定できる項目反応モデル（数理手法に基づく心理・教育測定モデル）を長年研究してきた．本研究では，この項目反応モデルを深層学習自動採点モデルに統合することで，評価者バイアスに頑健な新たな自動採点手法を開発することを目指す．
この目標に対し，令和2年度は，訓練データ作成過程での評価者バイアスの影響を低減できる項目反応モデルを活用した深層学習自動採点モデルを開発した．研究成果は教育人工知能に関するトップ国際会議であるAIED2020で発表し，論文賞を受賞した．
令和3年度には，前年度の結果を踏まえ，研究成果を電子情報通信学会論文誌や国際論文誌IEEE Transactions on Learning Technologiesなどの査読付き論文誌に投稿・掲載された．また，国内学会では人工知能学会 若手奨励賞，日本テスト学会 大会発表賞，電子情報通信学会 研究奨励賞を受賞した．
令和4年度は，提案技術の発展として，項目反応モデルを深層学習自動採点モデルに直接組み込んで一貫学習する手法を開発し，総合的なパフォーマンスの向上を実現した．さらに，複数観点自動評価の枠組みに広げた技術も開発した．研究成果は，電子情報通信学会論文誌と言語処理分野の主要国際会議の一つであるCOLINGにフルペーパで採択された．さらに，教育システム情報学会では論文賞を受賞した．
|
