2020 Fiscal Year Research-status Report
Creating Auxiliary Questions for Explainable Evaluation of Machine Reading Comprehension
| Project/Area Number |
20K23335
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
菅原 朔 国立情報学研究所, コンテンツ科学研究系, 助教 (10855894)
|
|---|
| Project Period (FY) |
2020-09-11 – 2022-03-31
|
| Keywords | 自然言語処理 / 計算言語学 / 言語理解 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、機械に自然言語を理解させるためのタスクデザインを目標としている。機械に文章読解を行わせる機械読解タスクにおいては、既存のデータセットでどのような評価が行われているかの意義付けが弱く、成功したシステムが備える能力について説明性が弱いという課題があった。実践的な試みや分析は様々になされているが、こうした取り組みを支えるための理論的な基盤はまだ整備されていない。
そこで本年度は、読解とは何か、それをどのように評価するか、という2つの観点から理論的な基礎を整備した。具体的には、心理学における読解の研究から計算論的な言語理解のモデルを援用し、読解とは何かについての心理学的な知見と既存の機械読解データセットにおける能力の単位の対応付けを行った。後者の評価手法については、心理測定学における妥当性の構成概念を援用し、既存のデータセット設計がそれをどれほど満たしているかについて検討を行った。結果として、「他の知覚情報との結びつきや新規な状況の理解を問うものがさらに必要」と「回答のプロセスを中間的に適切に評価できるようなタスクデザインが必要」という結論を得た。こうした結論は、今後当分野で求められる要件の提示とその理論的な根拠を与え、研究者の参照先になりうるという意義がある。
本研究の論文は計算言語学分野のトップ国際会議のひとつである the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021) に採択された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は心理学等を参照して読解を理論的に解明するための基盤づくりに取り組んだ。また、実績としてはまだ明確化されていないものの、機械にとって難しい問題をクラウドソーシングにより収集する作業も進めている。これらは次年度以降に実際に補助問題作成を行うための下準備であり、引き続き計画に沿って研究を進めていく。
|
| Strategy for Future Research Activity |
本年度に行った理論的基盤の整備・補助問題の前提となる問題収集を経て、次年度は実際に補助問題を収集する作業を進める。具体的には、読解に適した自然言語の形式的表現の定義と変換モジュールの開発と、形式表現から補助問題を生成するモジュールの開発を目指す。
|
| Causes of Carryover |
本年度は本研究の主眼である補助問題の生成の前提となる準備を行っており、次年度に本格的な問題収集を行う計画である。そのために予算を使用する。また、本年度は COVID-19 の影響で旅費が発生しなかった。
|
Research Products
(2 results)
