2020 Fiscal Year Research-status Report
深層学習とシンボリックな推論を統合する基礎技術の開発と文章読解システムへの応用
| Project/Area Number |
20K23314
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
吉川 将司 東北大学, タフ・サイバーフィジカルAI研究センター, 助教 (80883470)
|
|---|
| Project Period (FY) |
2020-09-11 – 2022-03-31
|
| Keywords | 自然言語処理 / 深層学習 / 文章読解 / 機械学習 / 記号推論 / 数量推論 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、数量推論を含む記号推論を深層学習モデルの微分可能関数内部で行わせる従来の自然言語文章読解システムとは異なり、数量計算に必要な項を深層モデルに抽出させて、外部のシンボリックなプログラムに計算させ、再度深層モデルの推論に活用する仕組みを開発することで、パラメータ効率が良く、モデルの挙動により透明性を持つ深層文章読解モデルを構築することを目標とする。微分不可能なシンボル計算を行うプログラムを深層モデルの中間に含めた場合、一般的にはend-to-end学習が不可能であるが、擬似的な勾配計算法によってこの問題を迂回することが技術的な鍵であり、重要な問題である。
今年度では、このようなシステムの開発に向けた関連研究のサーベイや、それら技術の再現実験を年度初めでは行い、後半以降は、目標である深層学習と記号処理を組み合わせた文章読解システムの実装、実験、改良のイテレーションを行い、研究対象を含む広い領域に関する広い知識を得た。
また、この研究を実現するための実験データの構築などを自身の手、またクラウドソーシングを活用して行ったため、目標とするシステムの実現の障害等をさらに子細に分析したり、また学習の仕組みに取り込んで活用できるような状況になった。
これらの成果はまとめて言語処理学会第27回年次大会で発表している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今期では、関連研究のサーベイや、それら技術の再現実験、また本研究課題の目標である深層学習と記号処理を組み合わせてend-to-end学習により学習する文章読解システムの実装、実験、改良を通し研究対象を含む広い領域に関する知識を大いに得た。
また、この研究を実現するための実験データの構築などを自身の手、またクラウドソーシングを活用して行ったため、目標とするシステムの実現の障害等をさらに子細に分析したり、また学習の仕組みに取り込んで活用できるような状況になった。
研究のための基盤整備は大きな進展を得たが、一方で実現したいシステムとその学習の仕組みについては、まだ期待する動作、挙動を示しておらず、この点に関しては当初の予定よりも遅れを示している。
|
| Strategy for Future Research Activity |
現在までの進捗状況でも述べたとおり、現状では構築したいシステムの学習において課題が残っており、この問題の究明、解決が急務である。
これらの研究内容が実現した暁には、自然言語処理/AI分野におけるトップレベルの国際会議でも高く評価されると信じており、コミュニティに対する自身の問題意識の共有にむけさらなる調査に邁進する。
また、これまでの研究途中に、（記号処理を含まない）フルに深層学習ベース文章読解システムのもつ数量推論の挙動についても面白い特徴が見つかり、その研究もメインの課題に対して面白い知見を与える可能性があり、平行して調査したい。
国際空港論文執筆が完成した後は、この研究課題で検討する枠組みをさらに一般の自然言語処理課題にも応用できるようにするため、実験プログラムの整備も行う予定である。
|
| Causes of Carryover |
コロナ禍のため、国内、海外への出張機会がなかったため当初の予定よりも使用額が大いに下回った。
本年度は年度末に向けて状況が改善すると期待でき、その場合には学会などに参加する予定である。
また、その他に残った研究費に関しては、計算機等の物品に加え、クラウドソーシングを使った大規模なデータ構築に用いる予定である。
|
