2020 Fiscal Year Research-status Report
Robust automated essay scoring method integrating deep neural networks and item response theory
| Project/Area Number |
20K20817
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
|
|---|
| Project Period (FY) |
2020-07-30 – 2023-03-31
|
| Keywords | 小論文自動採点 / 深層学習 / 項目反応理論 |
|---|
| Outline of Annual Research Achievements |
実用化のニーズが急速に高まる小論文自動採点において，深層学習を用いたモデルが近年高精度を達成している．深層学習自動採点モデルの学習は多数の採点済み小論文データを用いて行われるが，小論文を人間の評価者が採点する際には，評価者ごとの採点基準の差異によって得点データにバイアスが生じる問題がある．そのようなバイアス・データから自動採点モデルを学習すると，自動採点モデルにもバイアスの影響が反映されてしまい，得点予測の性能が著しく低下してしまう.一方で，研究代表者は，評価者バイアスの影響を考慮して真の評価点を推定できる項目反応モデル(数理手法に基づく心理・教育測定モデル)を長年研究してきた.本研究では，この項目反応モデルを深層学習自動採点モデルに統合することで，評価者バイアスに頑健な新たな自動採点手法を開発することを目標としている．
この目標に対し，当該年度は，項目反応モデルを統合した深層学習自動採点モデルの開発と評価実験を行った．実験の結果，提案モデルを利用することで，訓練データ作成過程での評価者バイアスの影響を低減することができ，より頑健な自動採点モデルの学習が実現できることが明らかとなった．また，この研究成果は人工知能×教育のトップ国際会議Artificial Intelligence in Eduction（AIED 2020） で発表し，論文賞（Best paper runner-up）を受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
上述の通り，当初目標としていた基礎技術の開発は完了しており，その性能評価も概ね完了している．さらに，研究成果は国際会議で発表し，論文賞を受賞するなど高く評価されている．
以上から，「当初の計画以上に進展している」と評価した．
|
| Strategy for Future Research Activity |
今後は，これまでの研究成果を英文論文誌に掲載することを目指す．また，これまで，提案手法の適用範囲を深層学習自動採点モデルに限定して議論してきたが，本手法は本質的には現存の様々な自動採点モデルに統合することができる．今後は，特徴量ベースの古典的な自動採点モデルや，深層学習と特徴量ベースを組み合わせた最先端のモデルなどにも提案手法を適用し，その有効性を評価していく．
|
| Causes of Carryover |
新型コロナウィルス感染拡大により国内外の学会がオンライン開催に移行したことに伴い，旅費に残額が生じた．今後は現地開催となる学会に状況に応じて参加するとともに，旅費として使用予定であった費用を被験者実験や研究補助者金などに回すことで研究活動をさらに加速させていく．
|
