2019 Fiscal Year Annual Research Report
Automated essay scoring focusing on argumentation structure based on probabilistic approach
| Project/Area Number |
17K20024
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 助教 (10732571)
|
|---|
| Project Period (FY) |
2017-06-30 – 2020-03-31
|
| Keywords | 論理性 / 自動採点 / ディープラーニング / トピックモデル |
|---|
| Outline of Annual Research Achievements |
近年，教育場面や学習評価場面において，大量の小論文を効率よく採点するニーズが急速に高まっており，これを実現する手法として小論文の自動採点技術が注目されている．このような背景のもと，本研究では，小論文の代表的な評価観点である「論理性」に着目して，高精度な自動採点を実現する手法の開発を目標としている．この目標に対して，本研究では，まず，テキストから論理構造を自動推定する技術である「議論マイニング手法」の実装を行った．さらに，議論マイニングで推定された論理構造から特徴量を抽出し，それを組み込んだ自動採点手法の性能を評価した．しかし，平成30年度に自然言語処理のトップカンファレンスにおいて「論理構造を特徴量としても自動採点の精度が向上しなかった」とする研究成果が報告されているように，本研究でも論理構造の特徴量による予測精度の有意な改善は達成できなかった．そこで，本研究では，最終目標である自動採点の精度を改善に立ち戻り，当初とは異なるアプローチで精度の改善を目指した．具体的には，自然言語処理で広く利用されるLatent Dirichlet Allocation（LDA）と教育測定分野で利用される項目反応理論を融合させた新たな自動採点技術を開発した．本研究に関連する成果は，電子情報通信学会論文誌Dに採録され，トップカンファレンスであるArtificial Intelligence in Education (AIED) にも採録された．さらに，本手法のLDA部分を深層学習モデルに拡張したモデルも開発し，人工知能学会研究会やNLP若手の会で賞を受賞した．
|
