Constructing Reading Comprehension Datasets to Evaluate Discourse-level Language Understanding
| Project/Area Number |
22K17954
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
菅原 朔 国立情報学研究所, コンテンツ科学研究系, 助教 (10855894)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 自然言語処理 / 計算言語学 / 自然言語理解 / 文章読解 / 談話理解 |
|---|
| Outline of Research at the Start |
文章を読んで質問に答えさせる読解タスクが言語理解を実現するシステムの評価タスクとして近年さかんに取り扱われているが、既存のデータセットの多くでは複数の文や文章全体にわたる内容にかかわる理解を問うことができず、人間らしい高度な言語理解を評価するためのタスクとして大きな限界があった。本研究では文の相互関係の理解に関連するような言語現象・推論が含まれるような文章について質問を収集する。
|
| Outline of Annual Research Achievements |
2021年度後半から2022年度にかけて大規模なパラメータ数からなるアーキテクチャを大規模なコーパスの上で訓練することで構築した大規模言語モデルと呼ばれるシステムを基礎にした研究が急増している。そのなかで、本研究はとくに文の相互関係の理解に注目し、説明性の高い談話的文章理解を問う評価用データセットの構築を目指している。高度化したシステムの振る舞いを評価するにあたって単文にとどまらない複数の文の理解を総合的に問うアプローチは重要性が高く、集中的に取り組まれる必要がある。大規模言語モデルの発展と軌を一にして、言語理解の評価用のデータセットも多様化・大規模化する傾向があり、現状のデータセットで何が取り組まれており、現状のシステムに何ができるのか、広範で正確な調査が必要とされている。初年度においてはこうした進展を踏まえた文献調査を進めながら、システム分析・簡易的なデータセット作成を通した状況把握に努めた。具体的には、読解問題における文章に含まれる表面的な特徴が文章読解システムの振る舞いのどのような影響を与えているのかを調査した。また、日付情報の理解や常識推論の理解をシステムに問うことを通して、複数の文を同時に理解しなければならないタスクでシステムが適切に振る舞うことができるのかを調査した。このような予備的な調査を通して、今後文間の理解を正確に評価するタスクをデザインする上で重要になる知見などを収集した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
直近1,2年で大規模言語モデルが著しい発展を見せており、これをもとにしたシステムの再現や現状の能力の把握に努めることを優先したため、データセットの構築までの着手に至っていない。また、システムの発展と同様に言語理解の評価用のデータセットも多様化・大規模化する傾向があり、現状のデータセットで何が取り組まれており、現状のシステムに何ができるのか、広範で正確な調査が必要とされている。初年度においてはこうした進展を踏まえた文献調査を進めながら、関連した研究を通して現行のシステム・ベンチマークについて知見を得るに留まった。
|
| Strategy for Future Research Activity |
次年度も同様に調査を中心に進め、現状ひろく使われているシステムの再現や現状の能力の把握・有力なデータセットにおける評価項目・振る舞いの調査の網羅的に進める。本研究が目的としている評価用データセットの構築をより有意義なものとするため、とくに文関係の把握に注目し、重要な言語現象が評価対象になっているのか、システムはどのような性能を示しているのかについて理解を深めることを最優先目標とする。状況が進み次第、具体的なデータセット構築の手段を再考して着手する。その際、クラウドソーシングにとどまらず既存の有力なモデルによる生成を前提とした手法も前向きに検討する。
|
Report
(1 results)
Research Products
(5 results)
