2021 Fiscal Year Research-status Report
Creating Auxiliary Questions for Explainable Evaluation of Machine Reading Comprehension
| Project/Area Number |
20K23335
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
菅原 朔 国立情報学研究所, コンテンツ科学研究系, 助教 (10855894)
|
|---|
| Project Period (FY) |
2020-09-11 – 2023-03-31
|
| Keywords | 自然言語処理 / 計算言語学 / 自然言語理解 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、機械に自然言語を理解させるためのタスクデザインを目標としている。機械に文章読解を行わせる機械読解タスクにおいては、既存のデータセットでどのような評価が行われているかの意義付けが弱く、成功したシステムが備える能力について説明性が弱いという課題があった。実践的な試みや分析は
様々になされているが、こうした取り組みを支えるための理論的な基盤はまだ整備されていない。
本年度は、問題を本格的に収集するための準備作業を継続して行った。補助的質問が重要になると考えられる論理的に高度な推論が必要になる問題設定に注目し、必要となる推論の分析を行い、問題収集のデザインを検討した。並行して、質問の基礎的な性質を予備的に調査するため、潜在表現を考慮した質問生成モデルや質問文と文脈文の語彙的な重複に着目した質問生成モデルの振る舞いの分析を行った。後者の結果は国際会議 ACL 2021 Student Research Workshop と EMNLP 2021 Machine Reading for Question Answering のワークショップに採択された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は補助問題にもとめられる性質を検討する作業を進めた。並行して質問生成モデルの利用の可能性について検討を進めた。これらは次年度以降に実際に補助問題作成を行うための下準備であり、引き続き計画に沿って研究を進めていく。
|
| Strategy for Future Research Activity |
本年度の検討・分析を踏まえ、次年度は実際に補助問題を収集する作業を進める。具体的には、読解に適した自然言語の形式的表現の定義と変換モジュールの開発と、形式表現から補助問題を生成するモジュールの開発を目指す。
|
| Causes of Carryover |
本年度は本研究の主眼である補助問題の生成の前提となる準備を行っており、次年度に本格的な問題収集を行う計画である。そのために予算を使用する。また、本年度は COVID-19 の影響で旅費が発生しなかった。
|
Research Products
(2 results)
