• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Efficient algorithm for sequential learning utilizing spontaneous internal activity

Research Project

Project/Area Number 20K11987
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61040:Soft computing-related
Research InstitutionKyoto University

Principal Investigator

Teramae Junnosuke  京都大学, 情報学研究科, 准教授 (50384722)

Co-Investigator(Kenkyū-buntansha) 松尾 直毅  九州大学, 理学研究院, 教授 (10508956)
Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2020: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords脳 / 学習 / 確率 / 海馬 / 記憶 / ゆらぎ / ノイズ / ニューラルネットワーク / シナプス / サンプリング / 符号化 / ギブスサンプリング / 揺らぎ / 自発活動 / 時系列 / 機械学習
Outline of Research at the Start

近年ディープラーニングなど脳の構造を取り入れた機械学習が高い性能を示し始めたが、時系列学習に関する性能や効率は、まだ生物の脳のレベルには達していない。本研究では、実験と理論の統合によって、我々の脳内で観測されるような内部ダイナミクスを上手く利用する新たな時系列学習アルゴリズムの原理を解明し、柔軟かつ高精度な時系列学習アルゴリズムを実現することを目的とする。

Outline of Final Research Achievements

Recent biological experiments have reported that both neurons and synapses in the brain are stochastic. They continue to show seemingly random internal dynamics even during the animal’s realization of precise and reliable responses and learnings. It has been a long-lasting question of why these random dynamics allow us reliable leanings. In this project, combining experimental and theoretical approaches, we tackled the problem. We revealed characteristic features of engram cells in the hippocampus by introducing a method that has been developed in the context of machine learning. Also, we succeeded in proposing a novel learning algorithm, named dual-sampling neural network, in which fully stochastic dynamics of neurons and synapses realize reliable learning. Numerical simulation of the network showed that the learning algorithm could reproduce various experimentally reported features of the cortical circuit.

Academic Significance and Societal Importance of the Research Achievements

我々の脳は、現在研究されている機械学習や人工知能に比べて格段に低消費電力で効率的に動作することが知られており、このような効率的な学習の実現には、脳のニューロンやシナプスが持つ特性を活かした新たな学習アルゴリズムが必要だと考えられてきた。本研究成果として得られた学習アルゴリズムは、脳のニューロンやシナプスのように、素子が持つ固有の確率性を活かして学習を実現するものであり、確率的動作が正確な学習を実現可能であることを示した点で高い学術的意義を持ち、同時に、今後、このアルゴリズムの実装を進めていくことで、脳型の、超低消費電力で動作する機械学習の実現に繋がり得るという高い社会的意義を持つ。

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (24 results)

All 2022 2021 2020

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (21 results) (of which Int'l Joint Research: 5 results,  Invited: 2 results)

  • [Journal Article] Dual sampling neural network: Learning without explicit optimization2022

    • Author(s)
      Teramae Jun-nosuke、Tsubo Yasuhiro
    • Journal Title

      Physical Review Research

      Volume: 4 Issue: 4

    • DOI

      10.1103/physrevresearch.4.043051

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 大脳皮質の確率的自発活動と疼痛の予測符号仮説2022

    • Author(s)
      寺前順之介
    • Journal Title

      日本運動器疼痛学会誌

      Volume: 14 Pages: 66-71

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] The lower bound of the network connectivity guaranteeing in-phase synchronization2021

    • Author(s)
      Yoneda Ryosuke、Tatsukawa Tsuyoshi、Teramae Jun-nosuke
    • Journal Title

      Chaos: An Interdisciplinary Journal of Nonlinear Science

      Volume: 31 Issue: 6 Pages: 063124-063124

    • DOI

      10.1063/5.0054271

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] Smoothed robustness analysis of classifiers2022

    • Author(s)
      Thomas Rodrigues Crespo, Jun-nosuke Teramae
    • Organizer
      日本物理学会2023年春季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] サンプリング型ニューラルネットワークにおけるシナプス変動とエネルギー地形2022

    • Author(s)
      後藤裕也, 寺前順之介
    • Organizer
      日本物理学会2023年春季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 情報論的解析に基づく大脳皮質のべき乗則コーディングの最適性2022

    • Author(s)
      立川剛至, 寺前順之介
    • Organizer
      日本物理学会2023年春季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Graded persistent activityを示すニューロンモデルによるリザバー計算の理論解析2022

    • Author(s)
      富田風太, 寺前順之介
    • Organizer
      日本物理学会2023年春季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 樹状突起活動電位によって非線形応答を示す低次元ニューロンモデルの提案2022

    • Author(s)
      佐伯卓哉, 寺前順之介
    • Organizer
      日本物理学会2023年春季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 多義図形入力に対するサンプリング型ニューラルネットワークの時間応答2022

    • Author(s)
      渡邉大師, 寺前順之介
    • Organizer
      日本物理学会2023年春季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 文脈依存的恐怖条件付け学習におけるマウス海馬CA1細胞のカルシウムイメージング2022

    • Author(s)
      小林 曉吾、髙島 魁斗、寺前 順之介、松尾 直毅
    • Organizer
      Neuro2022
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Graded persistent activity を示すニューロンモデルを用いた Reservoir computing2022

    • Author(s)
      富田風太, 寺前順之介
    • Organizer
      Neuro2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] Graded persistent activityを示すニューロンモデルを用いたReservoir computing2022

    • Author(s)
      富田風太, 寺前順之介
    • Organizer
      日本物理学会 第77回年次大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 大脳皮質の自発活動とネットワーク特性2021

    • Author(s)
      寺前順之介
    • Organizer
      第14回日本運動器疼痛学会
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] 変動閾値ニューロンモデルによるスパイキングニューラルネットワークの誤差逆伝播法2021

    • Author(s)
      山中宏太, 寺前順之介
    • Organizer
      日本物理学会 2021年秋季大会
    • Related Report
      2021 Research-status Report
  • [Presentation] シナプスを確率変数とする制限付きボルツマンマシンの相転移2021

    • Author(s)
      山本昌治, 寺前順之介
    • Organizer
      日本物理学会 2021年秋季大会
    • Related Report
      2021 Research-status Report
  • [Presentation] ニューロンとシナプスを確率変数とする制限付きボルツマンマシン2021

    • Author(s)
      山本昌治, 寺前順之介
    • Organizer
      日本物理学会第76回年次大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 膜電位のbackward modulationを利用するLIFニューロンの教師あり学習2021

    • Author(s)
      山中宏太, 寺前順之介
    • Organizer
      日本物理学会第76回年次大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 人工ニューラルネットワークにおけるべき則表現と学習則2021

    • Author(s)
      後藤裕也, 立川剛至, 寺前順之介
    • Organizer
      日本物理学会第76回年次大会
    • Related Report
      2020 Research-status Report
  • [Presentation] べき乗則に従うニューラルネットワークの学習可能性と汎化性能2021

    • Author(s)
      立川剛至, 寺前順之介
    • Organizer
      日本物理学会第76回年次大会
    • Related Report
      2020 Research-status Report
  • [Presentation] ランダム時系列を利用する運動の教師あり学習2021

    • Author(s)
      岡田青空, 寺前順之介
    • Organizer
      日本物理学会第76回年次大会
    • Related Report
      2020 Research-status Report
  • [Presentation] Dual stochasticity in the cortex as a biologically plausible learning with the most efficient coding2020

    • Author(s)
      JUNNOSUKE TERAMAE
    • Organizer
      The 43rd Annual Meeting of the Japan Neuroscience Society
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] A biologically plausible and effective learning algorithm for spiking neural networks2020

    • Author(s)
      Kota Yamanaka, Jun-nosuke Teramae
    • Organizer
      The 43rd Annual Meeting of the Japan Neuroscience Society
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Calcium imaging of hippocampal CA1 engram cells during a contextual fear conditioning paradigm2020

    • Author(s)
      KYOGO KOBAYASHI, Ren Takakura, Jun-nosuke Teramae, Naoki Matsuo
    • Organizer
      The 43rd Annual Meeting of the Japan Neuroscience Society
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] CA1 engram cells are characterized by activity reduction in a novel context during memory encoding2020

    • Author(s)
      Kaito Takashima, Jun-nosuke Teramae, Naoki Matsuo, Kyogo Kobayashi, Ren Takakura
    • Organizer
      The 43rd Annual Meeting of the Japan Neuroscience Society
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2020-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi