2023 Fiscal Year Research-status Report

Dynamical properties and computational capability of Reservoir Computing

Research Project

Project/Area Number	22KJ1959
Allocation Type	Multi-year Fund
Research Institution	Kyoto University
Principal Investigator	高須正太郎京都大学, 情報学研究科, 特別研究員(DC1)
Project Period (FY)	2023-03-08 – 2025-03-31
Keywords	力学系 / RNN / レザバー計算 / カオス / ニューロン相関
Outline of Annual Research Achievements	本研究では、Recurrent Neural Network（以下、RNN）のダイナミクスと計算性能の関係を調べることで、レザバー計算設計における新たな指導原理を確立することを目指している。本年度は、RNNのニューロン間相関に着目し、その計算性能との関係を検討した。ニューロン数NのランダムRNNにおけるニューロン相関の強さは、√Nに反比例する非常に小さな量であるため、従来はあまり検討されてこなかった。特にニューロン相関の強さがランダムRNNの計算性能に与える影響は未解明であり、ランダムRNNをレザバーとするレザバー計算の記憶容量を調べた先行研究では、ニューロン相関を無視して理論解析が行われている。そこで我々は、ニューロン相関が記憶容量に陽に効くような問題設定を行い、その記憶容量を理論的に導出することに成功した。得られた結果を元にニューロン相関とレザバー性能の関係を調べたところ、いままで知られていない非自明な結果を得ることができた。現在、この結果を論文にまとめている。またこれとは別に、シナプス結合が確率的に揺らぐような離散時間RNNモデルのダイナミクスについても理論解析を行なった。シナプス変動の揺らぎの速さによらず最大リアプノフ指数は一定である一方、シナプス揺らぎが大きいほど、状態空間を占めるRNNの軌跡の次元（実効次元）が高くなるという結果を得た。この結果は日本物理学会第78回年次大会にて発表した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当初の計画では、スモールワールドRNNやスケールフリーRNNなどさまざまな構造を持つRNNに対してリアプノフ解析を行うことを予定していたが、解析的扱いが容易なランダムRNNをより詳細に理論解析を行い、興味深い結果を得ることができた。
Strategy for Future Research Activity	ニューロン相関と計算性能に関する研究結果をまとめ、学会報告や論文投稿を進めていく。また、従来調べられてきた「カオスの縁」とは異なる臨界現象である、「神経雪崩」を呈するRNNモデルに関して、そのダイナミクスと計算性能の関係を、これまで培ってきた理論解析手法を適用し解明する。
Causes of Carryover	当初計画していたものよりも低いスペックの計算機で十分であることが判明し、計画よりも安価な計算機を購入したため。次年度では、この差額を論文投稿費に充てる。