2023 Fiscal Year Annual Research Report
Building General Language Understanding Infrastructure by Fusing Computational and Human Intelligence
| Project/Area Number |
21H04901
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
河原 大輔 早稲田大学, 理工学術院, 教授 (10450694)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
笹野 遼平 名古屋大学, 情報学研究科, 准教授 (70603918)
鈴木 潤 東北大学, データ駆動科学・AI教育研究センター, 教授 (80396150)
|
|---|
| Project Period (FY) |
2021-04-05 – 2025-03-31
|
| Keywords | 言語理解 / 転移学習 / 言語知識 / 説明性 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
2023年度は以下の研究項目について研究を行った。
人知・計算知のデザインおよび計算知の構築に関して、知識グラフなどの人知を自然言語として表現し、それを計算知(言語モデル)に融合する手法を考案した。これはLoRA (Low-Rank Adaptation)とMoE (Mixture of Experts)を統合した手法であり、常識推論タスクにおける実験によって有効性を確認した。また、知識の言語転移の原理を分析するために意味的プロービングデータセットを構築するとともに、ドメイン知識の学習について分析するために、川柳や漢詩文を用いた実験を進めた。
人に近い文章理解の実現に関する研究として、文の意味を空間上の分布として表現することで、文の持つ意味の広がりや包含関係などを捉えた文の意味表現方法を考案し、含意関係にある2文の含意の方向性を自然に扱えることを実験的に示した。また、大規模言語モデル(LLM)により自動生成したNLIデータを用いた、LLMベースの文埋め込みの改良にも取り組み、自動生成したNLIデータの有用性を明らかにした。さらに、人に近い文章理解の可能性を検証するため、早押しクイズの解答システムの構築に取り組んだ。
言語モデルの解釈性に関する研究として、否定的な意味を持つ単語が入力文に含まれる場合に、言語モデルの推論能力が顕著に低減する現象があることを実験的に示した。また、一般的なニューラルネットワークに対する解釈手法である特徴量帰属法の中で著名な方法である統合勾配法が、言語モデルなどの言語を扱うモデルに対して利用する場合に数値計算上の問題が発生する可能性が高い点を実験的に示し、その対応策を考案した。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
