2020 Fiscal Year Research-status Report
形式意味論と言語処理の融合による構成的言語モデルの開発
| Project/Area Number |
20K19868
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
谷中 瞳 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (10854581)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 自然言語処理 / 自然言語推論 / 事前訓練済み言語モデル / 構成性原理 / 体系性 / 単調性 / 推移性 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
文の意味を計算処理可能な形式で表し、文と文との意味的関係を判定する含意関係認識技術の実現は、計算機による人間らしい言語理解の実現に向けて解決すべき最重要課題である。近年、深層学習のモデルを用いた含意関係認識の研究が盛んに行われているが、深層学習のモデルは文の構成的な意味におけるモデルの表現力は明らかではなく、未知のデータに対する頑健性が不透明である。そこで本研究では、現行の深層学習モデルの文の構成的な意味における表現力を明らかにするとともに、表現力の向上を目指す。本年度は、【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発について、主に次の2つの成果が得られた。
研究成果1. monotonicity（単調性）に基づく深層学習モデルの汎化性能の分析手法の開発
現行の深層学習のモデルが学習データからどの程度言語の性質を汎化して学習しているかについて、形式意味論において重要な言語現象の一つであるmonotonicity（単調性）を用いて分析する手法を開発した。開発した手法で現行の深層学習のモデルを評価した結果、一部のモデルでは様々なパターンから構成される文の意味を暗記できる可能性は残されているものの、現行のモデルは学習データから否定や量化などの言語現象の組み合わせや、関係節のような再帰的な構文構造を伴う文の意味を体系的に学習することに課題があることを明らかにした。
研究成果2. 推移性に基づく推論の体系性の分析手法の開発
研究成果1.を踏まえ、現行の深層学習のモデルが学習データから自然言語の推論を体系的に学習できているか分析するため、推移性（A→B、B→CからA→Cを導く推論）を捉えているかに着目してモデルを分析する手法を開発した。開発した手法を用いて現行の深層学習の基本的なモデルを評価した結果、現行のモデルは体系的には推移性を学習できていないことが示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度は、【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発について上述の研究成果1, 2が得られた。当初の計画では、本研究課題1を2021年度まで行う予定であったが、この課題は古くから認知科学分野において議論されている、ニューラルネットワークが人間のように言語の構成性を捉えられているのかという本質的な問題へと、想定以上の展開を見せることとなった。研究成果1は自然言語処理のトップカンファレンスである査読付き国際会議ACL2020に採択され、また、人工知能学会第34回全国大会にて優秀賞を受賞した。研究成果2は査読付き国際会議EACL2020に採択された。これらの研究成果は大きな成果であると考えられる。
|
| Strategy for Future Research Activity |
【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発については、初年度では深層学習に基づく基本的な自然言語推論モデルの性能を評価する手法を開発したが、これまでに開発した手法は意味解析や文法訂正などの他の自然言語処理のタスクに特化した深層学習のモデルの汎化性能評価にも展開できる可能性があり、今後様々なタスクにおける評価システムを検討していく。
また、【研究課題2】データ拡張と学習アルゴリズムの改良による構成的言語モデルの開発
についても関連研究の調査を進め、検討していく。
|
| Causes of Carryover |
今年度は新型コロナの影響により、国際学会・国内学会がすべてオンライン開催となり、旅費が全く使われなかったため、また、今年度当初はPCなどのハードウェアの購入を予定していたが、これまでに使用していたハードウェアを問題なく利用できたため、それらで使用しなかった分を次年度に繰越すことにした。また、次年度は異動により配属された学生のPC購入などの物品購入が増える可能性を考慮すると、当初の請求額と繰越した額の合計金額を使用する見込みである。
|
