2020 Fiscal Year Annual Research Report
Construction and evaluation of neurocomputational models of natural language
Publicly Offered Research
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
19H04990
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
大関 洋平 東京大学, 大学院総合文化研究科, 講師 (10821994)
|
|---|
| Project Period (FY) |
2019-04-01 – 2021-03-31
|
| Keywords | 記号的生成モデル / 深層ニューラルネットワーク / 眼球運動 / 再帰的ニューラルネットワーク文法 / トランスフォーマー文法 |
|---|
| Outline of Annual Research Achievements |
本研究では、記号的生成モデルおよび深層ニューラルネットワークに基づく神経計算モデルを構築し、脳情報処理データで検証することで、自然言語の計算システムを解明することを目的としています。新型コロナウイルス感染症の影響により、脳磁場および皮質脳波による新規の脳情報処理データこそ完成しませんでしたが、眼球運動による既存の認知処理データを用いて、記号的生成モデルと再帰的ニューラルネットワークを融合した深層生成モデルである再帰的ニューラルネットワーク文法（Recurrent Neural Network Grammar）が、純粋な再帰的ニューラルネットワークと比べて人間らしいことを示し、更に並列処理による高速化を実現しました。また、アテンション機構を備えた大規模な深層ニューラルネットワークであるトランスフォーマー（Transformer）が、工学的には世界最高性能を達成しているにも関わらず、強力すぎる作業記憶を持つため人間らしくないことを示し、加えて記号的生成モデルとトランスフォーマーを融合した深層生成モデルであるトランスフォーマー文法（Transformer Grammar）を開発しています。以上の研究成果は、自然言語処理のトップカンファレンスであるACLおよびEMNLPにて、3本の論文として発表・出版しています。
なお、本研究課題は、JSTさきがけ「信頼されるAIの基盤技術」領域「認知・脳情報処理による人間らしい言語処理モデルの開発」へと発展しています。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
