| 研究課題/領域番号 |
20K23314
|
|---|
| 研究種目 |
研究活動スタート支援
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
1001:情報科学、情報工学およびその関連分野
|
|---|
| 研究機関 | 東北大学 |
|---|
研究代表者 |
吉川 将司 東北大学, タフ・サイバーフィジカルAI研究センター, 助教 (80883470)
|
|---|
| 研究期間 (年度) |
2020-09-11 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
2021年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2020年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
|
|---|
| キーワード | 自然言語処理 / 深層学習 / 文章読解 / 機械学習 / 記号推論 / 数量推論 / 記号処理 / 言語推論 |
|---|
| 研究開始時の研究の概要 |
深層学習は大量の教師データと誤差逆伝播法を用いたend-to-end学習により、文章読解を含む多くの自然言語処理課題において高い性能を獲得している。しかし、このようなシステムには扱いが困難な言語の推論タイプが存在し、文章読解における数量推論はその典型例である。本研究では、数量推論を深層学習モデルの微分可能関数内部で行わせるのではなく、数量計算に必要な項を抽出して外部のシンボリックなプログラムに計算させながら、システム全体はend-to-endに学習する仕組みを開発することで、パラメータ効率が良く、モデルの挙動により透明性を持つ深層文章読解モデルを構築する。
|
| 研究成果の概要 |
我々は、深層学習による自然言語処理を発展させる鍵は、その技術と記号推論を組み合わせることにあると考える。これにより、データ効率が良く、テキストの変異に頑健であり、推論過程の透明性を持ったシステムの開発できる。しかし、深層学習の鍵は誤差逆伝搬法であるため、離散的な記号関数は本来的に相性が悪い。本課題では、Gumbel-Softmaxトリックを応用し、このようなシステムの勾配による学習を可能にする。
この手法を用い、深層学習ベースの自然言語処理における未解決問題である数量推論に取り組む。我々は深層言語モデルに電卓を組み込むことでこの問題に対処する。
|
| 研究成果の学術的意義や社会的意義 |
深層学習言語モデルの高い推論能力が喧伝される一方で、少し入力を操作するだけで思わぬ挙動を示すなど脆弱性も分野内でよく知られている。記号推論の仕組みを外部知識として組み込むことで、深層モデルのブラックボックス性を軽減でき、推論過程の透明性のみならず、期待される推論過程を教え込むことでより頑健なシステムを構築することが可能になる。
数量は言語中に頻出である一方で自然言語処理では見過ごされがちである。金融文章の解析など応用にも直結する課題であるが、本研究の取り組みにより数量処理に大きな前進をもたらすことが期待される。
|
