Natural Language Interface Technology to Support Complex Tasks

2023 Fiscal Year Final Research Report

• Project/Area Number: 21H03502
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: National Institute of Informatics
• Principal Investigator: Aizawa Akiko 国立情報学研究所, コンテンツ科学研究系, 教授 (90222447)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 言語モデル / 多段階推論 / 対話システム / 意味解析 / 基盤化

Outline of Final Research Achievements

In this study, we addressed natural language processing for instructing computers to perform complex tasks in natural language. Complex tasks” in this study are those processes that cannot be solved by solely using single-question answering, but require multi-step reasoning and conversational interactions. In the research period, we worked on multi-step machine reading comprehension, which combines information from multiple source documents to answer a single question; semantic parsing, which converts natural language sentences into SQL queries or executable programs; and mutual grounding, which identifies entities commonly referred to by multiple interlocutors in their utterances. We have constructed datasets for the construction and evaluation of language models, and demonstrated their usefulness through analytical evaluation of the models.

Free Research Field

研究成果の学術的意義や社会的意義

Academic Significance and Societal Importance of the Research Achievements

生成型の言語モデルの登場と急速な大規模化によって、言語モデルの推論能力は劇的に向上している。このような言語モデルは、さまざまな場面における人間の作業支援ツールとして大きな期待が寄せられる一方で、実際の環境において必要となる複雑な指示の理解やコマンド生成などの能力については、さらなる改良が求められている。また、複数の情報ソースに分散する情報をさがしあてて、質問への正確な回答を生成する処理は、ハルシネーション対策としても重要である。本研究では、複雑な推論タスクに関する複数のデータセットを構築して公開しており、今後の研究開発における言語モデルの訓練・評価に貢献するものである。