| 研究課題/領域番号 |
21H04901
|
|---|
| 研究種目 |
基盤研究(A)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
中区分61:人間情報学およびその関連分野
|
|---|
| 研究機関 | 早稲田大学 |
|---|
研究代表者 |
河原 大輔 早稲田大学, 理工学術院, 教授 (10450694)
|
|---|
| 研究分担者 |
笹野 遼平 名古屋大学, 情報学研究科, 准教授 (70603918)
鈴木 潤 東北大学, データ駆動科学・AI教育研究センター, 教授 (80396150)
|
|---|
| 研究期間 (年度) |
2021-04-05 – 2025-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
41,600千円 (直接経費: 32,000千円、間接経費: 9,600千円)
2023年度: 10,530千円 (直接経費: 8,100千円、間接経費: 2,430千円)
2022年度: 10,530千円 (直接経費: 8,100千円、間接経費: 2,430千円)
2021年度: 10,400千円 (直接経費: 8,000千円、間接経費: 2,400千円)
|
|---|
| キーワード | 言語理解 / 転移学習 / 言語知識 / 説明性 / 深層学習 / 基盤モデル |
|---|
| 研究開始時の研究の概要 |
BERTに代表される事前学習付き深層ニューラルネットワーク「計算知」によって、様々な自然言語理解タスクの精度が向上した。しかし、計算知はテキスト中の単語共起のみに基づいており、計算機が「真に言語を理解すること」および「出力の理由を説明すること」が実現できていない。そのため、計算知を実応用で用いるにはコストとリスクが高いという大きな問題がある。本研究では、これまで人間が知識を記述してきた「人知」を計算知に統合することによって、人間の脳のような汎用言語理解基盤を創出する。
|
| 研究実績の概要 |
2023年度は以下の研究項目について研究を行った。
人知・計算知のデザインおよび計算知の構築に関して、知識グラフなどの人知を自然言語として表現し、それを計算知(言語モデル)に融合する手法を考案した。これはLoRA (Low-Rank Adaptation)とMoE (Mixture of Experts)を統合した手法であり、常識推論タスクにおける実験によって有効性を確認した。また、知識の言語転移の原理を分析するために意味的プロービングデータセットを構築するとともに、ドメイン知識の学習について分析するために、川柳や漢詩文を用いた実験を進めた。
人に近い文章理解の実現に関する研究として、文の意味を空間上の分布として表現することで、文の持つ意味の広がりや包含関係などを捉えた文の意味表現方法を考案し、含意関係にある2文の含意の方向性を自然に扱えることを実験的に示した。また、大規模言語モデル(LLM)により自動生成したNLIデータを用いた、LLMベースの文埋め込みの改良にも取り組み、自動生成したNLIデータの有用性を明らかにした。さらに、人に近い文章理解の可能性を検証するため、早押しクイズの解答システムの構築に取り組んだ。
言語モデルの解釈性に関する研究として、否定的な意味を持つ単語が入力文に含まれる場合に、言語モデルの推論能力が顕著に低減する現象があることを実験的に示した。また、一般的なニューラルネットワークに対する解釈手法である特徴量帰属法の中で著名な方法である統合勾配法が、言語モデルなどの言語を扱うモデルに対して利用する場合に数値計算上の問題が発生する可能性が高い点を実験的に示し、その対応策を考案した。
|
| 現在までの達成度 (段落) |
令和5年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和5年度が最終年度であるため、記入しない。
|
