| 研究課題/領域番号 |
20K20817
|
|---|
| 研究種目 |
挑戦的研究(萌芽)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分9:教育学およびその関連分野
|
|---|
| 研究機関 | 電気通信大学 |
|---|
研究代表者 |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
|
|---|
| 研究期間 (年度) |
2020-07-30 – 2023-03-31
|
| 研究課題ステータス |
完了 (2022年度)
|
| 配分額 *注記 |
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2020年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
|
|---|
| キーワード | 小論文自動採点 / 項目反応理論 / 深層学習 / 評価者バイアス / 信頼性 / テスト理論 |
|---|
| 研究開始時の研究の概要 |
実用化のニーズが急速に高まる小論文自動採点において，深層学習を用いたモデルが近年高精度を達成している．深層学習自動採点モデルの学習は多数の採点済み小論文データを用いて行われる．しかし，小論文の採点データには評価者のバイアスが反映されてしまう問題があり，そのようなバイアス・データから学習した自動採点モデルは性能が著しく低下する．一方で，研究代表者は，評価者バイアスの影響を考慮して真の評価点を推定できる項目反応モデル（数理手法に基づく心理・教育測定モデル）を長年研究してきた．本研究では，この項目反応モデルを深層学習自動採点モデルに統合することで，評価者バイアスに頑健な新たな自動採点手法を開発する．
|
| 研究成果の概要 |
近年，深層学習を用いた小論文自動採点モデルが高精度を達成している．そのような自動採点モデルの訓練に利用される大量の得点付き小論文データセットは，一般に多数の評価者が分担して小論文を採点することで構築される．しかし，そのような場合，各小論文に与えられる得点が各評価者の甘さ/厳しさなどの特性に依存してしまう．そのように評価者バイアスの影響を受けたデータをモデルの訓練に利用すると自動採点の性能が低下する．この問題を解決するために，本研究では，研究代表者が長年研究してきた「評価者バイアスの影響を考慮して真スコアを推定できる数理モデル」を活用することで，評価者バイアスに頑健な自動採点手法を開発した．
|
| 研究成果の学術的意義や社会的意義 |
自動採点技術の性能は年々更新されてきているものの，その性能改善は微小であり，大幅な性能改善には手法の抜本的な見直しが必要であると考えられる．本研究で指摘している既存手法の問題点は，既存のすべての自動採点手法に当てはまる根本的な問題でありながら，既存研究で見落とされてきた観点である．本研究は，この問題に対して，理論的かつシンプルな解決策を提案するものであり，自動採点の性能を大幅に改善できる可能性を有するとともに，将来的に自動採点手法の基礎フレームワークとなりうる学術的にインパクトの大きい研究であると考える．
|
