| 研究課題/領域番号 |
20K20817
|
|---|
| 研究機関 | 電気通信大学 |
|---|
研究代表者 |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
|
|---|
| 研究期間 (年度) |
2020-07-30 – 2023-03-31
|
| キーワード | 小論文自動採点 / 深層学習 / 項目反応理論 |
|---|
| 研究実績の概要 |
実用化のニーズが急速に高まる小論文自動採点において，深層学習を用いたモデルが近年高精度を達成している．深層学習自動採点モデルの学習は多数の採点済み小論文データを用いて行われるが，小論文を人間の評価者が採点する際には，評価者ごとの採点基準の差異によって得点データにバイアスが生じる問題がある．そのようなバイアス・データから自動採点モデルを学習すると，自動採点モデルにもバイアスの影響が反映されてしまい，得点予測の性能が著しく低下してしまう．一方で，研究代表者は，評価者バイアスの影響を考慮して真の評価点を推定できる項目反応モデル(数理手法に基づく心理・教育測定モデル)を長年研究してきた．本研究では，この項目反応モデルを深層学習自動採点モデルに統合することで，評価者バイアスに頑健な新たな自動採点手法を開発することを目標としている．
この目標に対し，前年度（令和2年度）には，項目反応モデルを組み込んだ深層学習自動採点モデルの開発と評価実験を行い，提案モデルを利用することで，訓練データ作成過程での評価者バイアスの影響を低減することができ，より頑健な自動採点モデルの学習が実現できることが明らかにした．この結果を踏まえ，当該年度（令和3年度）はこれまでの研究成果を電子情報通信学会論文誌や国際論文誌 IEEE Transactions on Learning Technologiesなどの複数の論文誌に投稿し，採択・掲載された．また，国内の学会で発表した関連成果は2021年度に複数の賞を受賞した（人工知能学会 先進的学習科学と工学研究会 令和3年度若手奨励賞，日本テスト学会第19 回大会 大会発表賞，電子情報通信学会教育工学研究会 研究奨励賞）．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
上記の通り，当初目標としていた基礎技術の開発・評価は完了し，IEEEの当該分野の一流論文誌に結果を公表できた．このことから，「当初の計画以上に進展している」と評価した．
|
| 今後の研究の推進方策 |
上記の通り，すでに当初予定していた研究計画は概ね達成している．そこで最終年度は，さらなる手法の発展を検討する．具体的には，これまでの研究において，項目反応理論と深層学習自動採点モデルを個別に推定する2段階方式を採用していたところを，項目反応モデルを深層学習自動採点モデルに直接組み込んで，全体のパラメータを同時に推定することで，全体としてのパフォーマンスの向上を目指す．今年度は，この手法の実装と評価を行い，論文誌などへの掲載を目指す．
|
| 次年度使用額が生じた理由 |
新型コロナウィルス感染拡大により国内外の学会がオンライン開催に移行したことに伴い，旅費に残額が生じた．今後は，現地開催となる学会に状況に応じて参加するとともに，旅費として使用予定であった費用を実験補助謝金等に使用して，研究効率を高めることなどを検討する．
|
