2022 Fiscal Year Annual Research Report
Dynamical properties and computational capability of Reservoir Computing
| Project/Area Number |
22J21559
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
高須 正太郎 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2022-04-22 – 2025-03-31
|
| Keywords | リカレントニューラルネットワーク / レザバー計算 / カオスの縁 / 平均場理論 / ダイナミクス / 非線形 |
|---|
| Outline of Annual Research Achievements |
本研究では、Recurrent Neural Network（以下、RNN）のダイナミクスと計算性能の関係を調べることで、レザバー計算の新たな指導原理を確立することを目指している。
本年度は、物理レザバー計算では現実的な設定である、入力がスパースであるRNNのダイナミクスを調べた。素子数無限大の極限において動的平均場理論を適用することで、入力を部分的に受けるRNNの条件付き最大リアプノフ指数を解析的に求めることに成功した。その結果、RNNのカオスダイナミクスを抑制し、Echo State Propertyを成立させるために必要な入力結合率の下限が存在することがわかった。本結果は、複数の学会にて報告しており、現在英文雑誌への投稿に向けた準備中である。
また、RNNのダイナミクスの非線形性と非線形演算性能との関係を調べるために、タスクに依存しない計算性能の指標であるInformation Processing Capacity（以下、IPC）に着目し、非線形RNNのIPCと線形RNNのIPCの相関を数値計算によって求めた。その結果、RNNが不安定性の縁（非線形RNNの場合は「カオスの縁」とも呼ばれる）に近づくほど、非線形RNNと線形RNNの計算性能が類似するという、直感に反する結果を得ることができた。本結果は、日本物理学会春季大会にて報告しており、こちらも論文投稿に向けた準備を進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画では、スモールワールドRNNやスケールフリーRNNなどさまざまな構造を持つRNNに対してリアプノフ解析を行うことを予定していたが、予備的な解析において、部分的に入力を受けるRNNにおいて入力結合率がダイナミクスに大きな影響を与えることを発見し、結果をまとめることができた。また、計算性能の指標としてIPCに着目することで、記憶容量や各種タスクのパフォーマンスを包括する、計算性能に関するより豊富な情報を、ダイナミクスの観点から理解することができた。
|
| Strategy for Future Research Activity |
RNNが不安定性の縁に近づくほどIPCのプロフィールが類似するという結果について、さらなる解析を進めていく。まず、この結果から直ちに、具体的なタスク（NARMA10、Lorenz時系列予測タスクなど）についても同様のパフォーマンスの類似が生じることが予想でき、その検証を行う。また、計算性能の類似が起こるメカニズムの解明を目指す。RNNの各素子への外部入力とリカレント入力の大きさの比がIPCのプロフィールに影響を与えていると予想しており、まずは数値計算によってこの予想を検証する。さらに、興奮抑制ネットワークやheavy-tailなシナプス重みを持つRNNなど、様々な構造をもつRNNにおいても、同様の計算性能の類似が普遍的に起こるかどうかの検証も進めていく。
|
