2017 Fiscal Year Research-status Report
確率的アプローチに基づく小論文の論理性自動評価システムの開発
| Project/Area Number |
17K20024
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 助教 (10732571)
|
|---|
| Project Period (FY) |
2017-06-30 – 2020-03-31
|
| Keywords | 論理マイニング / 自動採点 / 論理構造 / ディープラーニング / トピックモデル / ベイジアンネットワーク |
|---|
| Outline of Annual Research Achievements |
平成29年度には，現在最も高精度な論証マイニング手法として知られるStab & Gurevychの手法を用いて，エッセイの論理構造を自動抽出するシステムを開発した．しかし，ベンチマークコーパスを用いた評価実験の結果，この最先端手法を用いても論理関係を正しく推定できる確率は45パーセント程度と低いことが明らかとなった．この問題を解決するために，本年度は，ディープラーニングを用いて論理構造の推定精度を改善する手法の開発を進めた．具体的には，文章の文脈情報を，ディープラーニング手法の一つであるLong short term memory（LSTM）を用いて推定し，これを特徴量として用いることで論理構造の推定精度の改善を図った．評価実験の結果，提案手法により論理構造の推定精度が10%程度改善することが確認できた．以上の成果は，人工知能学会や言語処理学会など複数の国内学会で発表し，現在は電子情報通信学会論文誌に論文を投稿中である．
加えて，平成29年度の課題の一つであった，独自コーパスの作成も着実に進行している．平成30年度はコーパス作成に協力いただいている専門家を研究協力者として追加し，コーパスを早急に完成させる予定である．
また，内容に基づいたエッセイの特性分析手法として，トピックモデルの一つとして知られるLatent Dirichlet Allocationを用いた手法を開発した．提案モデルを用いることでエッセイの構成・表現・オリジナリティの特異性を定量的に分析できることを示した．本研究の成果は，2017年にBehaviormetrika, Springerに論文が採録されている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度には，当初計画の通り，Stab & Gurevychの手法を用いた論理構造自動推定システムを開発し，完成した．さらに，この手法には論理構成の推定精度の観点で改善の余地があることを明らかにし，それを改善するための新たな手法を開発した．本研究の成果は，国内の複数の学会で発表を行い，現在は，電子情報通信学会論文誌Dに論文を投稿中であり，自然言語処理分野のトップカンファレンスであるEmpirical Methods in Natural Language Processingに向けた原稿も作成中である．
また，平成29年度の課題の一つであった，独自コーパスの作成も順調に進行している．さらに，これと並行して，Latent Dirichlet Allocationを用いてエッセイの構成・表現・オリジナリティの特異性を評価する手法の開発を行い，その成果はすでにBehaviormetrika, Springerに論文が採録されている．
以上から，本研究課題については，「おおむね順調に進展している」と評価した．
|
| Strategy for Future Research Activity |
平成30年度には，コーパス作成に協力いただいている専門家を研究協力者として追加し，コーパスを早急に完成させる．また，平成29年度に開発した論理構造自動推定システムをトップカンファレンスに投稿し，論文誌への採録も目標とする．
さらに，当初計画に従い，平成30 年度には，平成 29 年度に開発した独自コーパスに基づき，論理構造のスコアリングを行う手法の開発を進める．推定された論理構造に基づいて，主張の正当性(主張がどの程度正当化されているか)や論証の強さ(不要あるいは因果関係が弱い論理の有無)，議論の深さ・幅，などの指標を求める手法を開発し，これらの指標から総合スコアを求める手法を検討する．また，以上の技術を組み込んだ，小論文の論理性自動評価システムを実装する．
|
| Causes of Carryover |
実施報告に示した通り，本研究の基礎システムである論理マイニング手法に関して精度改善の必要性が生じたため，平成29年度に完成予定であったコーパス作成への着手が遅れ，コーパス作成の協力者への謝金の支払いが当初予定より少なくなったため残額が生じた．
|
