• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Modeling neural language processing by attractor networks

Research Project

Project/Area Number 21K15611
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 51010:Basic brain sciences-related
Research InstitutionNational Institute of Information and Communications Technology (2023)
Okinawa Institute of Science and Technology Graduate University (2021-2022)

Principal Investigator

芳賀 達也  国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 研究員 (10744873)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Keywords海馬 / 空間学習 / 言語 / アトラクターネットワーク / 嗅内皮質 / 計算論的神経科学 / アトラクター / ニューラルネットワーク / 人工知能
Outline of Research at the Start

言語能力を実現する神経メカニズムの解明は諸分野に関わる重要な問題であるが、未だ十分な理解には至っていない。本研究では、最先端の機械学習モデルを生物学的に妥当な形で実装し、そのモデルを通じて脳の言語処理を理解するアプローチを試みる。第一に、機械学習の自然言語処理モデルと同等の計算(自己注意と単語埋め込み)を、抑制回路によるモジュレーションを組み込んだアトラクターネットワークによって実現する。そして、構築したモデル内の活動パターンと言語処理中の脳から計測された活動パターンとを定量的に対応付け、各脳領域で行われている計算とそれを実現する回路レベルのメカニズムに関する知見を得ることを目指す。

Outline of Annual Research Achievements

前年までに、脳の中でも空間表現や意味表現が存在する部位である海馬・嗅内皮質の神経表現のモデルとして、Disentangled successor information (DSI)というモデルを構築してきた。この成果に関して論文誌への投稿を行い、様々な追加の作業を行った。具体的には、グリッド細胞に関する追加の統計解析や、記憶など海馬の他の機能との関係性の考察、可読性を向上するための論文の大幅な改稿などである。また、これまで得られた成果に関して学会などでの発表を行った。
またこの論文発表のための作業と並行して、DSIに相当する神経表現をアトラクターネットワークを用いて学習する理論的メカニズムを具体化し、実際に場所系列や言語データを入力として海馬の場所表現・意味表現に相当するものを学習できることを確認した。さらに、場所学習の場合にはその学習中のアトラクターネットワークが実験的に観測されている海馬の「リプレイ」現象に相当するような活動パターンを示すことがわかった。これは、海馬の場所学習のメカニズムの拡張によって言語のような複雑な意味構造の学習も行うことができることを示している。
このDSIの拡張モデルの構築によって、「生物学的に妥当なアトラクターネットワークにより言語表現が学習できるメカニズムを明らかにする」という当初の研究目標が達成できたことになると考えている。しかし、DSIの論文がアクセプトに至っておらず、アトラクターネットワークモデルの詳しい解析もまだできていないことから、研究期間を一年延長して引き続き作業を進める予定である。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究で開発したモデルの論文アクセプトのために多くの追加作業が必要となり、想定以上の時間と労力を要しており、前年に計画していた作業を全て行うことはできていない。しかし、論文発表のための作業と並行してモデルの拡張を進め、アトラクターネットワークを用いて脳の空間表現・意味表現に相当するものを学習する理論を構築できており、当初の研究計画と形は異なるものの研究目標の達成は見込めている状態である。

Strategy for Future Research Activity

研究期間を一年延長し、DSIモデルの論文発表のための作業を完了させる。また、DSIに相当する表現学習を行うアトラクターネットワークモデルの研究を引き続き進め、様々なデータに適用して性能を検証し、研究期間中に成果発表できる形でまとめることも目指す。また、その作業の完了後には、その学習でモデル内に現れてきた神経表現を公開されている言語処理中の脳の神経活動データにフィッティングして対応を調べる作業を行いたいと考えている。

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (8 results)

All 2023 2022 2021

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (5 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Multiscale and Extended Retrieval of Associative Memory Structures in a Cortical Model of Local-Global Inhibition Balance2022

    • Author(s)
      Burns Thomas F.、Haga (芳賀 達也) Tatsuya、Fukai (深井朋樹) Tomoki
    • Journal Title

      eneuro

      Volume: 9 Issue: 3 Pages: 1-14

    • DOI

      10.1523/eneuro.0023-22.2022

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Multiscale representations of community structures in attractor neural networks2021

    • Author(s)
      Haga Tatsuya、Fukai Tomoki
    • Journal Title

      PLOS Computational Biology

      Volume: 17 Issue: 8 Pages: 1-26

    • DOI

      10.1371/journal.pcbi.1009296

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Neural mechanisms for learning hierarchical structures of information2021

    • Author(s)
      Fukai Tomoki、Asabuki Toshitake、Haga Tatsuya
    • Journal Title

      Current Opinion in Neurobiology

      Volume: 70 Pages: 145-153

    • DOI

      10.1016/j.conb.2021.10.011

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] グリッド細胞と概念細胞の統合計算論モデル2023

    • Author(s)
      芳賀達也、大関洋平、深井朋樹
    • Organizer
      日本神経科学学会大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 物理空間と意味空間におけるナビゲーションを統合する嗅内皮質の神経表現モデル2022

    • Author(s)
      芳賀達也、大関洋平、深井朋樹
    • Organizer
      NEURO2022
    • Related Report
      2022 Research-status Report
  • [Presentation] A functional role for inhibitory diversity in associative memory2022

    • Author(s)
      Thomas F Burns, Tatsuya Haga, Tomoki Fukai
    • Organizer
      NEURO2022
    • Related Report
      2022 Research-status Report
  • [Presentation] From grid cells to language: generalized spatial representation model of entorhinal cortex.2022

    • Author(s)
      Tatsuya Haga, Yohei Oseki, Tomoki Fukai
    • Organizer
      Society for Neuroscience Meeting
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Dual roles of idling moments for past and future memories2022

    • Author(s)
      Khaled Ghandour, Tatsuya Haga, Noriaki Ohkawa, Chi Chung Fung, Masanori Nomoto, Masaaki Sato, Tomoki Fukai, Kaoru Inokuchi
    • Organizer
      Society for Neuroscience Meeting
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi