2021 Fiscal Year Research-status Report
形式意味論と言語処理の融合による構成的言語モデルの開発
| Project/Area Number |
20K19868
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
谷中 瞳 東京大学, 大学院情報理工学系研究科, 講師 (10854581)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 自然言語処理 / 意味解析 / 事前訓練済み言語モデル / 構成性原理 / 体系性 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
文の意味を計算処理可能な形式で表し、文と文との意味的関係を判定する含意関係認識技術の実現は、計算機による人間らしい言語理解の実現に向けて解決すべき最重要課題である。近年、深層ニューラルネット(DNN)を用いた含意関係認識の研究が盛んに行われているが、文の構成的な意味におけるDNNの表現力は明らかではなく、未知のデータに対する頑健性が不透明である。本研究では、DNNの文の構成的な意味における表現力を明らかにするとともに、表現力の向上を目指す。本年度は、【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発について、主に次の2つの成果を得た。
研究成果1. DNNが獲得する意味表現の体系性の分析手法の開発
前年度ではDNNの推論の体系性を分析する手法を開発したが、この手法ではなぜ推論を体系的に学習できないのか、特定が困難であった。そこで、文を意味表現に変換する意味解析のタスクでDNNが学習データからどの程度文の意味を体系的に学習しているか分析する手法を開発した。開発手法で現行のDNNを分析した結果、学習データと文の構造が類似する構造に対しては汎化しやすい一方で、未知の深さの関係節の埋め込みなど構造が変わる場合は汎化しにくいことが示唆された。
研究成果2. 文法誤り訂正モデルの文法知識における汎化性能の分析手法の開発
自然言語処理の応用技術として、テキストに含まれる文法誤りを自動的に訂正する文法誤り訂正モデルがある。近年では大量の訓練データを用いたモデルが高性能を達成しつつあるが、実応用ではモデルの軽量化が求められており、どの程度の訓練データが必要か分析する手法が求められている。そこで、モデルが訂正に必要な文法知識をどの程度汎化できているか分析する手法を開発した。実験の結果、現行のモデルは簡単な設定では誤り検出をある程度汎化できる一方で、訂正は汎化しにくいことが示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度は、【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発について上述の研究成果1, 2が得られた。当初の計画では、含意関係認識という自然言語処理の基本タスクに限定した評価システムの開発を対象としていたが、基本タスクとしては含意関係認識だけでなく意味解析、さらに応用タスクとして文法誤り訂正と、幅広いタスクに対する評価システムの開発へと展開することができた。
研究成果1、研究成果2は自然言語処理のトップカンファレンスである査読付き国際会議ACL2021に採択された。これらの研究成果は大きな成果であると考えられる。
|
| Strategy for Future Research Activity |
【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発では、現在の深層学習に基づく言語モデルが否定や量化といった論理的な意味の組み合わせや関係節の埋め込みに対してボトルネックをあることを特定することができた。
今後はこれまでに開発した評価システムを評価手法として活用しながら、【研究課題2】データ拡張と学習アルゴリズムの改良による構成的言語モデルの開発について関連研究の調査を進め、データ拡張によるアプローチと記号論理学を用いたアプローチの2つのアプローチを用いて研究課題1で特定したボトルネックを改善する手法の開発を検討していく。
|
| Causes of Carryover |
今年度は新型コロナの影響により、国際学会・国内学会がすべてオンライン開催となり、旅費が全く使われなかった。一方で、異動により配属された学生のPC購入などの物品購入が増えたため、旅費で使われなかった分は物品費に回った。結果としてわずかに次年度使用額が生じたが、研究に必要な書籍購入に使用する見込みである。
|
