2018 Fiscal Year Research-status Report
確率的アプローチに基づく小論文の論理性自動評価システムの開発
| Project/Area Number |
17K20024
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 助教 (10732571)
|
|---|
| Project Period (FY) |
2017-06-30 – 2020-03-31
|
| Keywords | 議論マイング / 自動採点 / 論理構造 / ディープラーニング / トピックモデル / ベイジアンネットワーク |
|---|
| Outline of Annual Research Achievements |
近年，教育場面や学習評価場面において，大量の小論文を効率よく採点するニーズが急速に高まっており，これを実現する手法として，小論文の自動採点技術が注目されている．このような背景のもと，本研究では，小論文の代表的な評価観点である「論理性」について，高精度な自動採点を実現する手法の開発を目標としている．
この目標に対し，平成30年度は，平成29年度に開発した論理構造の自動抽出システムについて，研究成果を整理し学会発表を行った．本研究では，議論マイニングの代表的な手法の一つであるStab & Gurevych (2016)の手法をベースに，文章の文脈情報を扱えるようにディープラーニング手法の一つであるLong short term memory（LSTM）を組み込んだ新たな手法を開発した．また，ベンチマークデータを利用した実験から本システムが，先行研究と同等以上の精度で論理構造を推定できることを確認した．
また，上述の通り，本研究では議論マイニング手法で推定した論理構造をもとに小論文のスコアリングを行うことを目標としている．そこで，平成30年度には，このために必要となるスコアリング技術についての研究を進めた．具体的には，自然言語処理で広く利用されるLatent Dirichlet Allocationと教育測定分野で利用される項目反応理論を融合させた最先端のスコアリング技術を新たに開発した．本研究に関連する成果は，Behaviormetrika, Springerに論文が採録され，電子情報通信学会論文誌DおよびトップカンファレンスであるArtificial Intelligence in Education (AIED) にも採録が決定している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成30年度までに本研究の基礎として必要な議論マイニング技術と自動採点技術について開発が完了している．また，個別の研究成果は論文化や学会発表も行っており，順調に進展していると評価できる．
|
| Strategy for Future Research Activity |
最終年度である平成31年度は，これまでに開発した基礎技術を統合し，本研究の主題である論理構造に着目した自動採点の研究を進める．ただし，自然言語・機械学習のトップカンファレンスにおいて，「論理構造を特徴量としても自動採点の精度が向上しなかった」とする研究成果が平成30年度に報告されている．最終年度は，この点も考慮しつつ，独自の技術開発と評価を行い，最終成果の整理を進める．
|
