| 研究課題/領域番号 |
21H04901
|
|---|
| 研究種目 |
基盤研究(A)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
中区分61:人間情報学およびその関連分野
|
|---|
| 研究機関 | 早稲田大学 |
|---|
研究代表者 |
河原 大輔 早稲田大学, 理工学術院, 教授 (10450694)
|
|---|
| 研究分担者 |
笹野 遼平 名古屋大学, 情報学研究科, 准教授 (70603918)
鈴木 潤 東北大学, データ駆動科学・AI教育研究センター, 教授 (80396150)
|
|---|
| 研究期間 (年度) |
2021-04-05 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
41,600千円 (直接経費: 32,000千円、間接経費: 9,600千円)
2023年度: 10,530千円 (直接経費: 8,100千円、間接経費: 2,430千円)
2022年度: 10,530千円 (直接経費: 8,100千円、間接経費: 2,430千円)
2021年度: 10,400千円 (直接経費: 8,000千円、間接経費: 2,400千円)
|
|---|
| キーワード | 言語理解 / 転移学習 / 言語知識 / 説明性 / 基盤モデル / 深層学習 |
|---|
| 研究開始時の研究の概要 |
BERTに代表される事前学習付き深層ニューラルネットワーク「計算知」によって、様々な自然言語理解タスクの精度が向上した。しかし、計算知はテキスト中の単語共起のみに基づいており、計算機が「真に言語を理解すること」および「出力の理由を説明すること」が実現できていない。そのため、計算知を実応用で用いるにはコストとリスクが高いという大きな問題がある。本研究では、これまで人間が知識を記述してきた「人知」を計算知に統合することによって、人間の脳のような汎用言語理解基盤を創出する。
|
| 研究実績の概要 |
2022年度は以下の4つの研究項目について研究を行った。
「人知のデザイン、構築」(研究項目1)および「計算知のデザイン、構築」(研究項目2)では、Transformerに基づく計算知に対して、人知の一つである辞書を融合する手法を考案し、形態素解析タスクに適用した。この手法は、入力文の各文字が辞書にマッチしたかどうかを埋め込みベクトルとして学習し、入力に足し合わせる。実験により、辞書の種類によっては精度が向上することを確認した。また、2021年度から継続的に構築していた日本語RoBERTaモデルのlargeサイズを公開した。
「人に近い文章理解の実現に向けた計算知・人知融合モデルの構築」(研究項目3)では、事前学習済み言語モデルを、自然言語推論(NLI)データを用いてfine-tuningすることで得られた文ベクトルと、国語辞典の定義文を用いてfine-tuningすることで得られた文ベクトルを比較し、後者の方が表層的に類似していない文ペアの意味的関係性の認識に強いなど、両者の性質に違いがあることを明らかにした。また、両者を統合することで文ベクトルの性能向上が可能なことを示した。
「計算知・人知融合モデルの処理過程の説明方式の確立」(研究項目4)では、巨大言語モデルに適切な例題を提示することで、思考連鎖(Chain-of-Thought)の能力で問題を解決できる可能性があることが先行研究にて示されていることに着目した。この思考連鎖の能力についてより深い検証を行い、特に否定的な意味合いを持つ単語を使うと、思考連鎖が機能しなくなるという現象をつきとめた。また、この過程で言語モデルの推論過程を適切に調査するための方法論を考案した。これ以外にもニューラルネットワークの説明性の評価基準である忠実性評価に関して現状を網羅的に調査し、言語処理タスクにおける忠実性評価の指針を示した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
計画のとおり、4つの研究項目について成果を出すことができているため、おおむね順調に進展していると評価した。2021年度に行う予定であった計算知の構築の一部は、計算資源の都合により2022年度初頭に行ったが、それによる影響はなかった。
|
| 今後の研究の推進方策 |
「人知のデザイン、構築」(研究項目1)は各項目からのフィードバックを受け、完成を目指す。「計算知のデザイン、構築」(研究項目2)、「人に近い文章理解の実現に向けた計算知・人知融合モデルの構築」(研究項目3)、「計算知・人知融合モデルの処理過程の説明方式の確立」(研究項目4)については、2022年度に引き続き研究を進めつつ、研究項目間のフィードバック・連携を強める。
|
