• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Dynamical properties and computational capability of Reservoir Computing

Research Project

Project/Area Number 22KJ1959
Project/Area Number (Other) 22J21559 (2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2022)
Section国内
Review Section Basic Section 61040:Soft computing-related
Research InstitutionKyoto University

Principal Investigator

高須 正太郎  京都大学, 情報学研究科, 特別研究員(DC1)

Project Period (FY) 2023-03-08 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
Keywords力学系 / RNN / レザバー計算 / カオス / ニューロン相関 / リカレントニューラルネットワーク / カオスの縁 / 平均場理論 / ダイナミクス / 非線形
Outline of Research at the Start

本研究では、Recurrent Neural Network(以下、RNN)のダイナミクスと計算性能の関係を調べることで、レザバー計算の新たな指導原理を確立することを目指している。昨年度は、線形RNNと非線形RNNの計算性能が、安定性の縁に近づくほど類似するという結果を得た。今年度は、この現象のメカニズムを、理論解析や数値シミュレーションによって明らかにする。

Outline of Annual Research Achievements

本研究では、Recurrent Neural Network(以下、RNN)のダイナミクスと計算性能の関係を調べることで、レザバー計算設計における新たな指導原理を確立することを目指している。
本年度は、RNNのニューロン間相関に着目し、その計算性能との関係を検討した。ニューロン数NのランダムRNNにおけるニューロン相関の強さは、√Nに反比例する非常に小さな量であるため、従来はあまり検討されてこなかった。特にニューロン相関の強さがランダムRNNの計算性能に与える影響は未解明であり、ランダムRNNをレザバーとするレザバー計算の記憶容量を調べた先行研究では、ニューロン相関を無視して理論解析が行われている。そこで我々は、ニューロン相関が記憶容量に陽に効くような問題設定を行い、その記憶容量を理論的に導出することに成功した。得られた結果を元にニューロン相関とレザバー性能の関係を調べたところ、いままで知られていない非自明な結果を得ることができた。現在、この結果を論文にまとめている。
またこれとは別に、シナプス結合が確率的に揺らぐような離散時間RNNモデルのダイナミクスについても理論解析を行なった。シナプス変動の揺らぎの速さによらず最大リアプノフ指数は一定である一方、シナプス揺らぎが大きいほど、状態空間を占めるRNNの軌跡の次元(実効次元)が高くなるという結果を得た。この結果は日本物理学会 第78回年次大会にて発表した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の計画では、スモールワールドRNNやスケールフリーRNNなどさまざまな構造を持つRNNに対してリアプノフ解析を行うことを予定していたが、解析的扱いが容易なランダムRNNをより詳細に理論解析を行い、興味深い結果を得ることができた。

Strategy for Future Research Activity

ニューロン相関と計算性能に関する研究結果をまとめ、学会報告や論文投稿を進めていく。また、従来調べられてきた「カオスの縁」とは異なる臨界現象である、「神経雪崩」を呈するRNNモデルに関して、そのダイナミクスと計算性能の関係を、これまで培ってきた理論解析手法を適用し解明する。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Annual Research Report
  • Research Products

    (6 results)

All 2024 2023 2022

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (5 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Suppression of chaos in a partially driven recurrent neural network2024

    • Author(s)
      Takasu Shotaro、Aoyagi Toshio
    • Journal Title

      Physical Review Research

      Volume: 6 Issue: 1 Pages: 013172-013172

    • DOI

      10.1103/physrevresearch.6.013172

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] シナプス結合の揺らぎがリカレントニューラルネットワークのダイナミクスに与える影響2023

    • Author(s)
      高須正太郎, 青柳富誌生
    • Organizer
      日本物理学会 第78回年次大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 線形レザバー計算と非線形レザバー計算の計算性能の類似度2023

    • Author(s)
      高須正太郎, 青柳富誌生
    • Organizer
      日本物理学会 2023年春季大会(オンライン開催)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 部分的な入力刺激によるRecurrent Neural Networkのゆらぎの抑制2023

    • Author(s)
      高須正太郎, 青柳富誌生
    • Organizer
      CPSYコース東京2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] Dynamical mean-field analysis of a reservoir computing receiving input signals partially2022

    • Author(s)
      Shotaro Takasu, Toshio Aoyagi
    • Organizer
      NEURO 2022
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 部分的に入力を受けるRNNのダイナミクスと計算性能2022

    • Author(s)
      高須正太郎, 青柳富誌生
    • Organizer
      RIMS研究集会 力学系の理論と諸分野への応用
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi