Creation of novel paradigms to integrate neural network learning with dendrites

• Project Area: Correspondence and Fusion of Artificial Intelligence and Brain Science
• Project/Area Number: 19H04994
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Okinawa Institute of Science and Technology Graduate University
• Principal Investigator: 深井 朋樹 沖縄科学技術大学院大学, 神経情報・脳計算ユニット, 教授 (40218871)
• Project Period (FY): 2019-04-01 – 2021-03-31
• Project Status: Completed (Fiscal Year 2020)
• Budget Amount: ¥23,400,000 (Direct Cost: ¥18,000,000、Indirect Cost: ¥5,400,000); Fiscal Year 2020: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000); Fiscal Year 2019: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
• Keywords: 神経回路モデル / 階層的時空間パターン / チャンク / シナプス可塑性 / ２コンパートメントモデル / KL発散 / カクテルパーティ効果 / 樹状突起計算 / 学習理論 / 時間的階層構造 / 信号源分離 / LSTM / 正則化情報損失最少化 / 時間的特徴検出 / 音源分離 / クルバック・ライブラー発散 / 時系列学習理論 / 脳型人工知能 / 時系列縮約 / 領野間連絡 / 階層ベイズ計算

Outline of Research at the Start

本研究では、脳研究の成果から明らかになってきた学習メカニズムや、とくに樹状突起を介するボトムアップとトップダウン信号の相互作用を取り入れ、これまでにない人工知能のための回路アーキテクチャと、それに適した学習理論を創出する。既存のモデルには取り入れられていない脳の神経回路の性質を活用することにより、多様な目的をもつ人工知能の開発に対して新しい理論的基盤を与える。また脳の計算理論の面からは、神経回路構造の生物学的特徴がもつ計算論的意味を明らかにしようとする試みであり、研究の成果は脳の回路機能を電子デバイスで実現するための、ニューロモルフィック技術に結びつく可能性がある。

Outline of Annual Research Achievements

本研究プロジェクトでは、神経細胞の樹状突起の働きを神経回路計算に如何に統合するかという問題意識を掲げて研究を行なった。樹状突起の計算論的機能を解明することで、新しい人工知能やニューロモルフィック技術の開拓に繋がる可能性がある。

初年度は、新しい教師なし学習原理を提案し、樹状突起と細胞体間の応答の整合性チェックに基づく、時系列入力の階層構造を学習するための細胞モデルを実装した（Asabuki and Fukai, Nat Comm, 2020)。この２コンパートメントモデルは、入力中に繰り返し出現する時空間パターンを教師なしで抽出する。さらに同じニューロンモデルで、聴覚信号源分離（カクテルパーティ効果）の問題も解けることを示すことができた。
最終年度は、２コンパートメントモデルを基礎に、１）多コンパートメント・モデルによる学習、２）リカレント結合による階層時系列の文脈依存の学習、３）刺激の出現確率を学習する相互結合神経回路モデルへの拡張を試みた。テーマ１)と２）はほぼ完了し、論文を準備中または投稿中（Asabuki and Fukai, 2021, bioRxiv)である。特に２）では、リカレント結合による樹状突起から細胞体への信号伝達の乗算的ゲーティングに依り、学習能力を著しく向上させた。またこの回路モデルを6500個以上の細胞を含む大規模神経活動記録データに適用し、細胞集合体の検出に成功した。テーマ３）は、ベイズ推定における事前分布を自発発火で表現する試みである。刺激の出現確率を学習させることに成功したが、実験で明らかにされている確率情報の表現と、モデルの情報表現が異なるため、現在、理論の問題点を探っている。

以上の研究成果により、まだ十分に解明されていない、脳の学習の生物学的仕組みが存在し、それを人工知能等に活用する可能性があることが、以前より明確になったと考える。

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Concomitant processing of choice and outcome in frontal corticostriatal ensembles correlates with performance of rats. (2021)
  • Author(s): Takashi Handa, Rie Harukuni, Tomoki Fukai
  • Journal Title: Cerebral Cortex Volume: in press
  • Peer Reviewed / Open Access
• [Journal Article] Oscillation-Driven Memory Encoding, Maintenance, and Recall in an Entorhinal-Hippocampal Circuit Model (2021)
  • Author(s): Tomoki Kurikawa, Kenji Mizuseki, Tomoki Fukai
  • Journal Title: Cerebral Cortex Volume: 31 Issue: 4 Pages: 2038-2057
  • DOI: 10.1093/cercor/bhaa343
  • Peer Reviewed / Open Access
• [Journal Article] Distinct Mechanisms of Over-Representation of Landmarks and Rewards in the Hippocampus (2020)
  • Author(s): Masaaki Sato, Kotaro Mizuta, Tanvir Islam, Masako Kawano, Yukiko Sekine, Takashi Takekawa, Daniel Gomez-Dominguez, Alexander Schmidt, Fred Wolf, Karam Kim, Hiroshi Yamakawa, Masamichi Ohkura, Min Goo Lee, Tomoki Fukai, Junichi Nakai, Yasunori Hayashi
  • Journal Title: Cell Reports Volume: 32 Issue: 1 Pages: 107864-107864
  • DOI: 10.1016/j.celrep.2020.107864
  • NAID: 120006867158
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Somatodendritic consistency check for temporal feature segmentation (2020)
  • Author(s): Asabuki Toshitake、Fukai Tomoki
  • Journal Title: Nature Communications Volume: 11 Issue: 1 Pages: 1-13
  • DOI: 10.1038/s41467-020-15367-w
  • Peer Reviewed / Open Access
• [Journal Article] Spontaneous and stimulus-induced coherent states of critically balanced neuronal networks (2020)
  • Author(s): Takashi Hayakawa, Tomoki Fukai
  • Journal Title: Physical Review Research Volume: 2 Issue: 1
  • DOI: 10.1103/physrevresearch.2.013253
  • Peer Reviewed / Open Access
• [Journal Article] Extended Temporal Association Memory by Modulations of Inhibitory Circuits (2019)
  • Author(s): Haga Tatsuya、Fukai Tomoki
  • Journal Title: Physical Review Letters Volume: 123 Issue: 7
  • DOI: 10.1103/physrevlett.123.078101
  • Peer Reviewed / Open Access
• [Journal Article] Unsupervised Detection of Cell-Assembly Sequences by Similarity-Based Clustering (2019)
  • Author(s): Watanabe Keita、Haga Tatsuya、Tatsuno Masami、Euston David R.、Fukai Tomoki
  • Journal Title: Frontiers in Neuroinformatics Volume: 13 Pages: 1-19
  • DOI: 10.3389/fninf.2019.00039
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] Multi-faceted analysis of cell assembly code. (2021)
  • Author(s): Tomoki Fukai
  • Organizer: Calcium Imaging Workshop Organized by “Correspondence and Fusion of Artificial Intelligence and Brain Science”
  • Invited
• [Presentation] Rate and temporal coding perspectives of motor processing in cortical microcircuits. (2020)
  • Author(s): Tomoki Fukai
  • Organizer: Online Workshop Series Neural Control: From data to machines
  • Int'l Joint Research / Invited
• [Presentation] 情報圧縮：脳的アプローチ (2020)
  • Author(s): 深井朋樹
  • Organizer: 第12回数理モデリング研究会 数理モデリングの哲学--数理モデルは何のためにあるのか
  • Invited
• [Presentation] Self-supervision mechanism of multiple dendritic compartments for temporal feature learning. (2020)
  • Author(s): Milena Menezes Carvalho, Tomoki Fukai
  • Organizer: 29th Annual Computational Neuroscience Meeting (CNS 2020)
  • Int'l Joint Research
• [Presentation] Multiscale associative memory recall by modulation of inhibitory circuits (2020)
  • Author(s): Tatsuya Haga, Tomoki Fukai
  • Organizer: Computational and Systems Neuroscience (Cosyne) 2020
  • Int'l Joint Research
• [Presentation] Learning complex temporal features by neurons with dendrites (2020)
  • Author(s): Toshitake Asabuki, Giorgia Dellaferrera, Tomoki Fukai
  • Organizer: OIST-Hitachi Joint Symposium
  • Invited
• [Presentation] Cognition through neural circuit dynamics (2019)
  • Author(s): Tomoki Fukai
  • Organizer: Toyama Forum for Academic Summit on "Dynamic Brain"
  • Int'l Joint Research / Invited
• [Presentation] Extended associative memory by inhibitory modulation (2019)
  • Author(s): Tatsuya Haga, Tomoki Fukai
  • Organizer: Neuroscience 2019 (SfN's 49th annual meeting)
  • Int'l Joint Research
• [Presentation] Top-down modulations of bottom-up signal processing in a microcircuit model involving PV, SOM and VIP inhibitory interneurons (2019)
  • Author(s): Nobuhiko Wagatsuma, Sou Nobukawa, Tomoki Fukai
  • Organizer: Neuroscience 2019 (SfN's 49th annual meeting)
  • Int'l Joint Research
• [Presentation] Temporal feature analysis in brain-inspired neural systems (2019)
  • Author(s): Tomoki Fukai
  • Organizer: Silicon Nanoelectronics Workshop 2019
  • Int'l Joint Research / Invited
• [Presentation] Temporal feature analysis by self-supervising dendritic neurons (2019)
  • Author(s): Tomoki Fukai
  • Organizer: 2019 Gordon Research Conference on Dendrites: Molecules, Structure and Function
  • Int'l Joint Research / Invited
• [Remarks] 深井研究室HP（OIST 神経情報・脳計算ユニット）
  • URL: https://groups.oist.jp/ncbc
• [Remarks] 深井研究室HP（OIST・神経情報・脳計算ユニット）
  • URL: https://groups.oist.jp/ncbc
• [Remarks] 人間の記憶の理解に役立つコンピュータモデル (OIST研究ニュース）
  • URL: https://www.oist.jp/ja/news-center/news/2019/10/7/34367