Dynamical properties and computational capability of Reservoir Computing
| Project/Area Number |
22KJ1959
|
|---|
| Project/Area Number (Other) |
22J21559 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
高須 正太郎 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 力学系 / RNN / レザバー計算 / カオス / ニューロン相関 / リカレントニューラルネットワーク / カオスの縁 / 平均場理論 / ダイナミクス / 非線形 |
|---|
| Outline of Research at the Start |
本研究では、Recurrent Neural Network（以下、RNN）のダイナミクスと計算性能の関係を調べることで、レザバー計算の新たな指導原理を確立することを目指している。昨年度は、線形RNNと非線形RNNの計算性能が、安定性の縁に近づくほど類似するという結果を得た。今年度は、この現象のメカニズムを、理論解析や数値シミュレーションによって明らかにする。
|
| Outline of Annual Research Achievements |
本研究では、Recurrent Neural Network（以下、RNN）のダイナミクスと計算性能の関係を調べることで、レザバー計算設計における新たな指導原理を確立することを目指している。
本年度は、RNNのニューロン間相関に着目し、その計算性能との関係を検討した。ニューロン数NのランダムRNNにおけるニューロン相関の強さは、√Nに反比例する非常に小さな量であるため、従来はあまり検討されてこなかった。特にニューロン相関の強さがランダムRNNの計算性能に与える影響は未解明であり、ランダムRNNをレザバーとするレザバー計算の記憶容量を調べた先行研究では、ニューロン相関を無視して理論解析が行われている。そこで我々は、ニューロン相関が記憶容量に陽に効くような問題設定を行い、その記憶容量を理論的に導出することに成功した。得られた結果を元にニューロン相関とレザバー性能の関係を調べたところ、いままで知られていない非自明な結果を得ることができた。現在、この結果を論文にまとめている。
またこれとは別に、シナプス結合が確率的に揺らぐような離散時間RNNモデルのダイナミクスについても理論解析を行なった。シナプス変動の揺らぎの速さによらず最大リアプノフ指数は一定である一方、シナプス揺らぎが大きいほど、状態空間を占めるRNNの軌跡の次元（実効次元）が高くなるという結果を得た。この結果は日本物理学会 第78回年次大会にて発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画では、スモールワールドRNNやスケールフリーRNNなどさまざまな構造を持つRNNに対してリアプノフ解析を行うことを予定していたが、解析的扱いが容易なランダムRNNをより詳細に理論解析を行い、興味深い結果を得ることができた。
|
| Strategy for Future Research Activity |
ニューロン相関と計算性能に関する研究結果をまとめ、学会報告や論文投稿を進めていく。また、従来調べられてきた「カオスの縁」とは異なる臨界現象である、「神経雪崩」を呈するRNNモデルに関して、そのダイナミクスと計算性能の関係を、これまで培ってきた理論解析手法を適用し解明する。
|
Report
(2 results)
Research Products
(6 results)
