Construction and evaluation of neurocomputational models of natural language
Publicly Offered Research
Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
Project/Area Number |
19H04990
|
Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
Allocation Type | Single-year Grants |
Review Section |
Complex systems
|
Research Institution | The University of Tokyo (2020) Waseda University (2019) |
Principal Investigator |
大関 洋平 東京大学, 大学院総合文化研究科, 講師 (10821994)
|
Project Period (FY) |
2019-04-01 – 2021-03-31
|
Project Status |
Completed (Fiscal Year 2020)
|
Budget Amount *help |
¥9,620,000 (Direct Cost: ¥7,400,000、Indirect Cost: ¥2,220,000)
Fiscal Year 2020: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2019: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
Keywords | 記号的生成モデル / 深層ニューラルネットワーク / 眼球運動 / 再帰的ニューラルネットワーク文法 / トランスフォーマー文法 / 言語 / 神経計算モデル / 人工知能 / 脳科学 / 認知科学 / 言語処理 / 計算認知神経科学 / 神経計算モデリング / 脳磁図 / 脳波 / 皮質脳波 / 確率オートマトン / 人工ニューラルネットワーク / オートマトン / ニューラルネットワーク |
Outline of Research at the Start |
言語を対象とする人工知能研究である自然言語処理と言語を対象とする脳科学研究である言語神経生物学の間には乖離が指摘されてきた。しかしながら、これら計算・神経基盤は独立して発展してきたにも関わらず、モジュールから成るネットワークを形成しているという点で酷似しており、両者の融合が望まれる。そこで、本研究では、オートマトンおよびニューラルネットワークに基づく神経計算モデルを構築し、「脳磁図」(MEG)および「皮質脳波」(ECoG)を組み合わせた神経活動データで検証することで、言語の計算・神経基盤を解明することを目的とする。
|
Outline of Annual Research Achievements |
本研究では、記号的生成モデルおよび深層ニューラルネットワークに基づく神経計算モデルを構築し、脳情報処理データで検証することで、自然言語の計算システムを解明することを目的としています。新型コロナウイルス感染症の影響により、脳磁場および皮質脳波による新規の脳情報処理データこそ完成しませんでしたが、眼球運動による既存の認知処理データを用いて、記号的生成モデルと再帰的ニューラルネットワークを融合した深層生成モデルである再帰的ニューラルネットワーク文法(Recurrent Neural Network Grammar)が、純粋な再帰的ニューラルネットワークと比べて人間らしいことを示し、更に並列処理による高速化を実現しました。また、アテンション機構を備えた大規模な深層ニューラルネットワークであるトランスフォーマー(Transformer)が、工学的には世界最高性能を達成しているにも関わらず、強力すぎる作業記憶を持つため人間らしくないことを示し、加えて記号的生成モデルとトランスフォーマーを融合した深層生成モデルであるトランスフォーマー文法(Transformer Grammar)を開発しています。以上の研究成果は、自然言語処理のトップカンファレンスであるACLおよびEMNLPにて、3本の論文として発表・出版しています。 なお、本研究課題は、JSTさきがけ「信頼されるAIの基盤技術」領域「認知・脳情報処理による人間らしい言語処理モデルの開発」へと発展しています。
|
Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(24 results)