2021 Fiscal Year Annual Research Report
深層学習とシンボリックな推論を統合する基礎技術の開発と文章読解システムへの応用
| Project/Area Number |
20K23314
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
吉川 将司 東北大学, タフ・サイバーフィジカルAI研究センター, 助教 (80883470)
|
|---|
| Project Period (FY) |
2020-09-11 – 2022-03-31
|
| Keywords | 自然言語処理 / 深層学習 / 記号処理 / 数量推論 / 言語推論 |
|---|
| Outline of Annual Research Achievements |
今年度は、記号処理と深層学習を組み合わせてシステム全体を学習する手法として潜在変数モデルに基づくものを開発した。具体的な応用課題として、記号処理関数に四則演算を行うプログラムを採用し、深層学習文章読解モデルと組み合わせることで数量推論タスクに取り組み、提案法の有効性を評価した。
この過程において、深層学習モデルの自然言語推論能力を評価するには、既存のベンチマークデータセットではデータ中に分布的な偏りが含まれるため、真の能力評価に不適切であるということを発見し、分布や問題の形式を制御が可能な人工データを用いた評価手法を採用・提案した。
人工データを用いた実験では、提案モデルは一部のタイプの問題に対し、期待される形で電卓を活用し、既存手法よりも高度な数量推論能力を発揮することが観察されたが、別の種類の問題に対しては課題が残った。後者の問題に対する性能改善法を様々に検討したが状況は改善されず新たな学習手法を検討中である。
人工データを用いて深層学習モデルの能力を評価するという方法には様々な応用の可能性があり、このアイデアを拡張し、深層言語モデルが文処理を行う際に文の統語構造に従った処理を行っているかに関する調査や、また、同モデルの多段言語推論の能力に関わる限界の調査や、それを改善する手法に関する研究を共同研究として行った。
これらいずれの成果についても、言語処理学会第28回年次大会で発表し、国際学会投稿に向けて準備中である。
|
