Modeling neural language processing by attractor networks
| Project/Area Number |
21K15611
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 51010:Basic brain sciences-related
|
|---|
| Research Institution | Okinawa Institute of Science and Technology Graduate University |
|---|
Principal Investigator |
芳賀 達也 沖縄科学技術大学院大学, 神経情報・脳計算ユニット, スタッフサイエンティスト (10744873)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | 海馬 / 嗅内皮質 / 空間学習 / 言語 / 計算論的神経科学 / アトラクター / ニューラルネットワーク / 人工知能 |
|---|
| Outline of Research at the Start |
言語能力を実現する神経メカニズムの解明は諸分野に関わる重要な問題であるが、未だ十分な理解には至っていない。本研究では、最先端の機械学習モデルを生物学的に妥当な形で実装し、そのモデルを通じて脳の言語処理を理解するアプローチを試みる。第一に、機械学習の自然言語処理モデルと同等の計算(自己注意と単語埋め込み)を、抑制回路によるモジュレーションを組み込んだアトラクターネットワークによって実現する。そして、構築したモデル内の活動パターンと言語処理中の脳から計測された活動パターンとを定量的に対応付け、各脳領域で行われている計算とそれを実現する回路レベルのメカニズムに関する知見を得ることを目指す。
|
| Outline of Annual Research Achievements |
前年に開発したDisentangled successor information （ＤＳＩ）モデルの成果に関して、学会発表（国内学会および国際学会）を行い、論文の執筆とプレプリントの公開を行った。現在論文誌への投稿を進めているところである。その作業の中で、データセットを用いたモデル内の概念表現の定量的な解析手法を新たに確立したのに加え、単語表現のみならず空間表現の合成による推論も可能であることを明らかにした。また、前年の段階ではＤＳＩはグリッド細胞型の表現を形成することがわかっていたが、拘束条件のかけ方によっては場所細胞型の表現も形成されることを新たに発見できた。さらに、意味表現に関しても海馬と嗅内皮質の実験的な特性に対応させられる結果が見えてきており、海馬と嗅内皮質双方に当てはめられるモデルとして解釈を進められる見込みができた。ＤＳＩは単語埋め込みに対応するモデルだが、アトラクターネットワークや自己注意との関係に関しては、ＤＳＩに対応する表現学習を行うニューラルネットワークモデルを考え、そこに追加の伝達経路を加えると自己注意と数学的に同じ形式のアトラクターネットワーク(Ramsaur et al., 2020)に帰着できることが新たにわかった。これによって、海馬・嗅内皮質の神経メカニズムに対応したアトラクターネットワークモデルによって単語埋め込みおよび自己注意による表現ベクトルの計算に相当する情報処理ができる目途が立った。
また、アトラクターネットワークの特性に関する基礎的な研究成果、海馬の学習メカニズムに関する共同研究の成果について、学会発表や論文発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年に開発したDisentangled successor information （ＤＳＩ）モデルによって、海馬・嗅内皮質で単語埋め込みに相当する学習が行えるという知見が得られた。その成果発表に関する作業は、論文のアクセプトまでには至っていないものの順調に進展している。また、自己注意およびアトラクターネットワークとの関係性については、ＤＳＩをネットワークモデルにして拡張していくことで実装可能であるという見込みができており、研究目標の達成に向けて順調な進捗が見られているといえる。
|
| Strategy for Future Research Activity |
今後はＤＳＩモデルをベースとしたアトラクターネットワークモデルを実装し、言語データに当てはめて学習を行わせ、モデルの挙動や言語モデルとしての性能をチェックしながら改善を行っていく。また、当初の計画通り、その学習でモデル内に現れてきた神経表現を公開されている言語処理中の脳の神経活動データにフィッティングして対応を調べる作業を行う。
|
Report
(2 results)
Research Products
(7 results)
