| Project/Area Number |
20K20817
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
Uto Masaki 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
|
|---|
| Project Period (FY) |
2020-07-30 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2020: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | 小論文自動採点 / 項目反応理論 / 深層学習 / 評価者バイアス / 信頼性 / テスト理論 |
|---|
| Outline of Research at the Start |
実用化のニーズが急速に高まる小論文自動採点において，深層学習を用いたモデルが近年高精度を達成している．深層学習自動採点モデルの学習は多数の採点済み小論文データを用いて行われる．しかし，小論文の採点データには評価者のバイアスが反映されてしまう問題があり，そのようなバイアス・データから学習した自動採点モデルは性能が著しく低下する．一方で，研究代表者は，評価者バイアスの影響を考慮して真の評価点を推定できる項目反応モデル（数理手法に基づく心理・教育測定モデル）を長年研究してきた．本研究では，この項目反応モデルを深層学習自動採点モデルに統合することで，評価者バイアスに頑健な新たな自動採点手法を開発する．
|
| Outline of Final Research Achievements |
In automated essay scoring (AES), scores are automatically assigned to essays as an alternative to grading by humans. Conventional AES models generally require training on a large dataset of graded essays. However, assigned grades in such a training dataset are known to be biased owing to effects of rater characteristics when grading is conducted by assigning a few raters in a rater set to each essay. Performance of AES models drops when such biased data are used for model training. Researchers in the fields of educational and psychological measurement have recently proposed item response theory (IRT) models that can estimate essay scores while considering effects of rater biases. This study therefore proposed a new method that trains AES models using IRT-based scores for dealing with rater bias within training data.
|
| Academic Significance and Societal Importance of the Research Achievements |
自動採点技術の性能は年々更新されてきているものの，その性能改善は微小であり，大幅な性能改善には手法の抜本的な見直しが必要であると考えられる．本研究で指摘している既存手法の問題点は，既存のすべての自動採点手法に当てはまる根本的な問題でありながら，既存研究で見落とされてきた観点である．本研究は，この問題に対して，理論的かつシンプルな解決策を提案するものであり，自動採点の性能を大幅に改善できる可能性を有するとともに，将来的に自動採点手法の基礎フレームワークとなりうる学術的にインパクトの大きい研究であると考える．
|
