2022 Fiscal Year Annual Research Report
Creating Auxiliary Questions for Explainable Evaluation of Machine Reading Comprehension
| Project/Area Number |
20K23335
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
菅原 朔 国立情報学研究所, コンテンツ科学研究系, 助教 (10855894)
|
|---|
| Project Period (FY) |
2020-09-11 – 2023-03-31
|
| Keywords | 自然言語処理 / 計算言語学 / 自然言語理解 / 文章読解 |
|---|
| Outline of Annual Research Achievements |
言語理解を実現するシステムの構築は自然言語処理における最大の目標のひとつである。システムを着実に開発するには言語理解に関する精緻な分析と評価が必要であるが、既存のタスクでは「良い精度を出すシステムは実際に何が得意なのか」について十分な説明性が確保されていなかった。本研究は言語理解の評価のためのタスクである機械読解に焦点を当て、読解問題の回答に至るまでのプロセスを分解して補助的な問題として課すことで詳細な評価を可能にするデータセットの構築を目指した。具体的には、既存の選択式の読解問題に対してそれぞれの選択肢が正解・不正解になる根拠についての情報をクラウドソーシングで執筆してもらい、その根拠情報自体が答えになるような選択式の問題を再構成することで元々の問題に対して根拠まで含めた一貫性のある理解がなされているかどうかを問えるようにした。3,000問程度を作成し、人間と既存の自然言語理解システムの精度を比較したところ、本問題・根拠問題どちらも人間正答率のが一定程度あるのに対して、根拠問題についてのシステムの正答率は人間より20%以上下がることが確認され、現状のシステムには根拠問題に一貫的に解答することが困難であることがわかった。また、推論タイプと文章中の特徴量寄与度の相互関係から根拠理解の難易度について分析し、寄与度の類似や推論の質的な差異の難易度との関連性を明らかにした。以上の成果は、言語処理学会第29回年次大会で発表した。
|
Research Products
(1 results)
