2022 Fiscal Year Annual Research Report
Building General Language Understanding Infrastructure by Fusing Computational and Human Intelligence
| Project/Area Number |
21H04901
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
河原 大輔 早稲田大学, 理工学術院, 教授 (10450694)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鈴木 潤 東北大学, データ駆動科学・AI教育研究センター, 教授 (80396150)
笹野 遼平 名古屋大学, 情報学研究科, 准教授 (70603918)
|
|---|
| Project Period (FY) |
2021-04-05 – 2025-03-31
|
| Keywords | 言語理解 / 転移学習 / 言語知識 / 説明性 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
2022年度は以下の4つの研究項目について研究を行った。
「人知のデザイン、構築」(研究項目1)および「計算知のデザイン、構築」(研究項目2)では、Transformerに基づく計算知に対して、人知の一つである辞書を融合する手法を考案し、形態素解析タスクに適用した。この手法は、入力文の各文字が辞書にマッチしたかどうかを埋め込みベクトルとして学習し、入力に足し合わせる。実験により、辞書の種類によっては精度が向上することを確認した。また、2021年度から継続的に構築していた日本語RoBERTaモデルのlargeサイズを公開した。
「人に近い文章理解の実現に向けた計算知・人知融合モデルの構築」(研究項目3)では、事前学習済み言語モデルを、自然言語推論(NLI)データを用いてfine-tuningすることで得られた文ベクトルと、国語辞典の定義文を用いてfine-tuningすることで得られた文ベクトルを比較し、後者の方が表層的に類似していない文ペアの意味的関係性の認識に強いなど、両者の性質に違いがあることを明らかにした。また、両者を統合することで文ベクトルの性能向上が可能なことを示した。
「計算知・人知融合モデルの処理過程の説明方式の確立」(研究項目4)では、巨大言語モデルに適切な例題を提示することで、思考連鎖(Chain-of-Thought)の能力で問題を解決できる可能性があることが先行研究にて示されていることに着目した。この思考連鎖の能力についてより深い検証を行い、特に否定的な意味合いを持つ単語を使うと、思考連鎖が機能しなくなるという現象をつきとめた。また、この過程で言語モデルの推論過程を適切に調査するための方法論を考案した。これ以外にもニューラルネットワークの説明性の評価基準である忠実性評価に関して現状を網羅的に調査し、言語処理タスクにおける忠実性評価の指針を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画のとおり、4つの研究項目について成果を出すことができているため、おおむね順調に進展していると評価した。2021年度に行う予定であった計算知の構築の一部は、計算資源の都合により2022年度初頭に行ったが、それによる影響はなかった。
|
| Strategy for Future Research Activity |
「人知のデザイン、構築」(研究項目1)は各項目からのフィードバックを受け、完成を目指す。「計算知のデザイン、構築」(研究項目2)、「人に近い文章理解の実現に向けた計算知・人知融合モデルの構築」(研究項目3)、「計算知・人知融合モデルの処理過程の説明方式の確立」(研究項目4)については、2022年度に引き続き研究を進めつつ、研究項目間のフィードバック・連携を強める。
|
