形式意味論と言語処理の融合による構成的言語モデルの開発
| Project/Area Number |
20K19868
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo (2021-2022)
Institute of Physical and Chemical Research (2020) |
|---|
Principal Investigator |
谷中 瞳 東京大学, 大学院情報理工学系研究科, 講師 (10854581)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 自然言語処理 / 自然言語推論 / 事前訓練済み言語モデル / 構成性原理 / 人工知能 / 汎化性能 / 意味解析 / 体系性 / 単調性 / 推移性 / 形式意味論 |
|---|
| Outline of Research at the Start |
文の意味を計算処理可能な形式で表し、文と文との意味的関係を判定する含意関係認識の実現は、計算機による言語理解に向けて解決すべき最重要課題である。近年、深層学習に基づく言語モデルを用いた含意関係認識の研究が盛んに行われているが、文の構成的意味における言語モデルの表現力は明らかではなく、未知のデータに対する頑健性や表現学習の効率性が不透明である。一方で、形式意味論では、文の構成的意味を推論の妥当性から分析する研究が成熟しつつある。そこで本研究では、形式意味論と自然言語処理の融合による構成的言語モデルの実現を目指す。
|
| Outline of Annual Research Achievements |
文の意味を計算処理可能な形式で表し、文と文との意味的関係を判定する含意関係認識技術の実現は、計算機による人間らしい言語理解の実現に向けて解決すべき最重要課題である。近年、深層ニューラルネット(DNN)を用いた含意関係認識の研究が盛んに行われているが、文の構成的な意味におけるDNNの表現力は明らかではなく、未知のデータに対する頑健性が不透明である。本研究では、DNNの文の構成的な意味における表現力を明らかにするとともに、表現力の改善を目指す。
本年度は、【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発と【研究課題2】データ拡張と学習アルゴリズムの改良による構成的言語モデルの開発について、主に次の2つの成果を得た。
研究成果1. DNNが日本語の構成的な意味を理解しているか評価する含意関係・類似度ベンチマークJSICKの開発
前年度までは英語を中心にDNNの推論の体系性を分析する手法を開発してきたが、英語以外の言語を含めてDNNの言語理解能力を分析する手法が求められている。そこで、英語の語彙的、統語的、意味的な言語現象の構成的な組み合わせの理解を必要とする含意関係・類似度ベンチマークSICKを人手で日本語に翻訳し、さらに日本語の特性を考慮して語順や助詞を入れ替えた問題を追加した日本語の含意関係・類似度ベンチマークJSICKを構築し、一般公開した。JSICKを用いた分析によって、現在の汎用言語モデルは日本語の助詞の扱いに課題があるが、データ拡張によって改善する可能性が示唆された。
研究成果2. 日本語の時間的順序を考慮した論理推論システムの構築
形式意味論の知見に基づいて日本語文の意味を構成的に表し、時間的順序に特化した推論システムを構築した。構築したシステムは現在のDNNを用いた推論システムよりも高い精度で時間的順序に関する含意関係認識が行えることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発と【研究課題2】データ拡張と学習アルゴリズムの改良による構成的言語モデルの開発について上述の研究成果1, 2が得られた。
研究成果1は自然言語処理のトップジャーナル論文誌であるTransactions of the Association for Computational Linguistics (TACL)に採択された。
研究成果2は自然言語処理のトップ査読つき国際会議ACL2022 Student Sessionに採択された。
また、これまでの成果に関連して1本の国際ワークショップ、4件の国内会議、5件の招待講演を行っており、これらの研究成果は大きな成果であると考えられる。
|
| Strategy for Future Research Activity |
【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発については、日本語を対象として言語モデルの構成性に関する言語理解能力に関してさらなる分析を進める。日本語特有の言語現象として敬語を対象として、現在の汎用言語モデルが様々な統語構造からなる敬語文をどの程度構成的に表現できているのか分析を行う。
【研究課題2】データ拡張と学習アルゴリズムの改良による構成的言語モデルの開発については、これまでの研究成果でデータ拡張によってある程度構成的な意味を考慮した推論の精度改善が見られた点について、どういう形式のデータを入力として与えたときに精度改善の度合いが大きくなるのか、その可能性と限界についてさらなる調査を行う。
|
Report
(3 results)
Research Products
(29 results)
