| Project/Area Number |
20K19868
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo (2021-2023)
Institute of Physical and Chemical Research (2020) |
|---|
Principal Investigator |
Yanaka Hitomi 東京大学, 大学院情報理工学系研究科, 准教授 (10854581)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 自然言語推論 / 体系性 / 構成性 / 深層学習 / 自然言語処理 / 形式意味論 / 意味解析 / 事前訓練済み言語モデル / 構成性原理 / 人工知能 / 汎化性能 / 単調性 / 推移性 |
|---|
| Outline of Research at the Start |
文の意味を計算処理可能な形式で表し、文と文との意味的関係を判定する含意関係認識の実現は、計算機による言語理解に向けて解決すべき最重要課題である。近年、深層学習に基づく言語モデルを用いた含意関係認識の研究が盛んに行われているが、文の構成的意味における言語モデルの表現力は明らかではなく、未知のデータに対する頑健性や表現学習の効率性が不透明である。一方で、形式意味論では、文の構成的意味を推論の妥当性から分析する研究が成熟しつつある。そこで本研究では、形式意味論と自然言語処理の融合による構成的言語モデルの実現を目指す。
|
| Outline of Final Research Achievements |
Deep learning models have been well studied in natural language processing. However, the extent to which models capture the compositional meaning of sentences is not clear, and their robustness to unseen data is uncertain. In this study, we investigate the extent to which models capture the compositional meaning of sentences, and develop inference systems that consider the compositional meaning of sentences.
Specifically, we constructed English and Japanese benchmarks to analyze whether models capture the compositional meaning of sentences based on the systematicity of inference, and identified the generalization capacity of current deep learning models. Furthermore, we developed inference systems that map sentences into their semantic representations based on compositional semantics and perform inference. Some of the results were accepted by top international conferences and journals, such as ACL and TACL. Our benchmarks and inference systems have been made available for research use.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究成果の中で特定された深層学習のモデルの文の意味における汎化性能の課題は、大規模言語モデルの信頼性に関わり、社会的影響が大きいものである。また、既存の自然言語推論ベンチマークの多くは英語であり、日本語の自然言語推論ベンチマークの枯渇は日本語の言語処理技術の発展に向けて深刻な問題である。本研究成果の一部である日本語の自然言語推論ベンチマークは、いずれも研究利用可能な形で公開しており、大規模言語モデルの基礎解析や日本語の言語処理技術の評価に貢献するものである。
|
