Modeling neural language processing by attractor networks
| Project/Area Number |
21K15611
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 51010:Basic brain sciences-related
|
|---|
| Research Institution | National Institute of Information and Communications Technology (2023)
Okinawa Institute of Science and Technology Graduate University (2021-2022) |
|---|
Principal Investigator |
芳賀 達也 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 研究員 (10744873)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | 海馬 / 空間学習 / 言語 / アトラクターネットワーク / 嗅内皮質 / 計算論的神経科学 / アトラクター / ニューラルネットワーク / 人工知能 |
|---|
| Outline of Research at the Start |
言語能力を実現する神経メカニズムの解明は諸分野に関わる重要な問題であるが、未だ十分な理解には至っていない。本研究では、最先端の機械学習モデルを生物学的に妥当な形で実装し、そのモデルを通じて脳の言語処理を理解するアプローチを試みる。第一に、機械学習の自然言語処理モデルと同等の計算(自己注意と単語埋め込み)を、抑制回路によるモジュレーションを組み込んだアトラクターネットワークによって実現する。そして、構築したモデル内の活動パターンと言語処理中の脳から計測された活動パターンとを定量的に対応付け、各脳領域で行われている計算とそれを実現する回路レベルのメカニズムに関する知見を得ることを目指す。
|
| Outline of Annual Research Achievements |
前年までに、脳の中でも空間表現や意味表現が存在する部位である海馬・嗅内皮質の神経表現のモデルとして、Disentangled successor information (DSI)というモデルを構築してきた。この成果に関して論文誌への投稿を行い、様々な追加の作業を行った。具体的には、グリッド細胞に関する追加の統計解析や、記憶など海馬の他の機能との関係性の考察、可読性を向上するための論文の大幅な改稿などである。また、これまで得られた成果に関して学会などでの発表を行った。
またこの論文発表のための作業と並行して、DSIに相当する神経表現をアトラクターネットワークを用いて学習する理論的メカニズムを具体化し、実際に場所系列や言語データを入力として海馬の場所表現・意味表現に相当するものを学習できることを確認した。さらに、場所学習の場合にはその学習中のアトラクターネットワークが実験的に観測されている海馬の「リプレイ」現象に相当するような活動パターンを示すことがわかった。これは、海馬の場所学習のメカニズムの拡張によって言語のような複雑な意味構造の学習も行うことができることを示している。
このDSIの拡張モデルの構築によって、「生物学的に妥当なアトラクターネットワークにより言語表現が学習できるメカニズムを明らかにする」という当初の研究目標が達成できたことになると考えている。しかし、DSIの論文がアクセプトに至っておらず、アトラクターネットワークモデルの詳しい解析もまだできていないことから、研究期間を一年延長して引き続き作業を進める予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究で開発したモデルの論文アクセプトのために多くの追加作業が必要となり、想定以上の時間と労力を要しており、前年に計画していた作業を全て行うことはできていない。しかし、論文発表のための作業と並行してモデルの拡張を進め、アトラクターネットワークを用いて脳の空間表現・意味表現に相当するものを学習する理論を構築できており、当初の研究計画と形は異なるものの研究目標の達成は見込めている状態である。
|
| Strategy for Future Research Activity |
研究期間を一年延長し、DSIモデルの論文発表のための作業を完了させる。また、DSIに相当する表現学習を行うアトラクターネットワークモデルの研究を引き続き進め、様々なデータに適用して性能を検証し、研究期間中に成果発表できる形でまとめることも目指す。また、その作業の完了後には、その学習でモデル内に現れてきた神経表現を公開されている言語処理中の脳の神経活動データにフィッティングして対応を調べる作業を行いたいと考えている。
|
Report
(3 results)
Research Products
(8 results)
