2022 Fiscal Year Research-status Report
Modeling neural language processing by attractor networks
| Project/Area Number |
21K15611
|
|---|
| Research Institution | Okinawa Institute of Science and Technology Graduate University |
|---|
Principal Investigator |
芳賀 達也 沖縄科学技術大学院大学, 神経情報・脳計算ユニット, スタッフサイエンティスト (10744873)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 海馬 / 嗅内皮質 / 空間学習 / 言語 |
|---|
| Outline of Annual Research Achievements |
前年に開発したDisentangled successor information （ＤＳＩ）モデルの成果に関して、学会発表（国内学会および国際学会）を行い、論文の執筆とプレプリントの公開を行った。現在論文誌への投稿を進めているところである。その作業の中で、データセットを用いたモデル内の概念表現の定量的な解析手法を新たに確立したのに加え、単語表現のみならず空間表現の合成による推論も可能であることを明らかにした。また、前年の段階ではＤＳＩはグリッド細胞型の表現を形成することがわかっていたが、拘束条件のかけ方によっては場所細胞型の表現も形成されることを新たに発見できた。さらに、意味表現に関しても海馬と嗅内皮質の実験的な特性に対応させられる結果が見えてきており、海馬と嗅内皮質双方に当てはめられるモデルとして解釈を進められる見込みができた。ＤＳＩは単語埋め込みに対応するモデルだが、アトラクターネットワークや自己注意との関係に関しては、ＤＳＩに対応する表現学習を行うニューラルネットワークモデルを考え、そこに追加の伝達経路を加えると自己注意と数学的に同じ形式のアトラクターネットワーク(Ramsaur et al., 2020)に帰着できることが新たにわかった。これによって、海馬・嗅内皮質の神経メカニズムに対応したアトラクターネットワークモデルによって単語埋め込みおよび自己注意による表現ベクトルの計算に相当する情報処理ができる目途が立った。
また、アトラクターネットワークの特性に関する基礎的な研究成果、海馬の学習メカニズムに関する共同研究の成果について、学会発表や論文発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年に開発したDisentangled successor information （ＤＳＩ）モデルによって、海馬・嗅内皮質で単語埋め込みに相当する学習が行えるという知見が得られた。その成果発表に関する作業は、論文のアクセプトまでには至っていないものの順調に進展している。また、自己注意およびアトラクターネットワークとの関係性については、ＤＳＩをネットワークモデルにして拡張していくことで実装可能であるという見込みができており、研究目標の達成に向けて順調な進捗が見られているといえる。
|
| Strategy for Future Research Activity |
今後はＤＳＩモデルをベースとしたアトラクターネットワークモデルを実装し、言語データに当てはめて学習を行わせ、モデルの挙動や言語モデルとしての性能をチェックしながら改善を行っていく。また、当初の計画通り、その学習でモデル内に現れてきた神経表現を公開されている言語処理中の脳の神経活動データにフィッティングして対応を調べる作業を行う。
|
| Causes of Carryover |
論文がまだアクセプトに至っておらず発表費用が未使用であるため。次年度に論文がアクセプトされればそこで使用する。
|
