2021 Fiscal Year Research-status Report
レザバー計算を用いた内的時間の獲得と崩壊のメカニズムの探求
| Project/Area Number |
20K21810
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
青柳 富誌生 京都大学, 情報学研究科, 教授 (90252486)
|
|---|
| Project Period (FY) |
2020-07-30 – 2023-03-31
|
| Keywords | レザバー計算 / カオス / 内的時間 / 非線形力学系 / リヤプノフ指数 / 動的平均場理論 |
|---|
| Outline of Annual Research Achievements |
心の内的時間の獲得の原理や本質は、非自明な数理モデルとして検証するのが難しい研究課題である。本研究では時系列パターンをリカレントニューラルネットワークに学習させる状況設定を仮定して、その解明を試みた。最近，非線形力学系の多様な自発活動を計算資源として活用するレザバー計算に注目が集まっている。レザバー計算はリカレントニューラルネットワークの一種であるが、非自明な自発活動を示し、その活動状態がカオスと非カオスの境目で課題実行のための計算能力が最大になるという知見がある。また、一定時間後にパターンを出力するタイマータスクも学習可能であり、その学習能力もEdge of chaosで最大となる。本研究では、レザバー計算が次の２つ実験的知見 (1) 非自明な自発活動を示し、その特性は学習能力と関係がある (2) 事象パターンの系列再生など時間的な課題を学習可能、に着目し、その枠組みを内的時間獲得のメカニズムを探る研究として活用することを試みる。初年度は、記憶と演算の両方を必要する課題を、入出力関係が線形分離可能・不可能な場合とでパフォーマンスの違いがあるかどうかを調べた。レザバーとして使用されるリカレントネットワークはランダム結合を仮定したものであり、その力学的性質の解析的結果を得ることは簡単ではない。本年度は、入力信号の入るニューロンの割合とランダムニューラルネットワークのリヤプノフ指数の関係を動的平均場理論を用いて解析的に調べ、レザバーとして機能するには入力信号の強度が十分強くないといけないこと、また入力割合はある臨界割合より大きくなくてはいけないことなどを示した．この結果は、レザバーとして機能するためにはニューラルネットワーク全体に対して一定以上の割合の素子が入力を受ける必要があることを意味し、学習能力向上の一つの指標となる大変意味のある結果と考えている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年度までに、ビットパターンの識別能力に関して、極めて一般的な設定である記憶と演算の両方を要する課題 3bit Boolean emulation task が十分学習可能であることが数値計算により示された。本年度は、その理論的解析のため記憶容量と非線形性の関係を計算論的に議論した論文などを参考に予備的解析を進めた。直接的な解析は難しい状況であるが、その検証過程で自発ダイナミクスがカオスであるリカレントニューラルネットワークをレザバーとする系の Echo State 特性について理論的に解析結果が得られた。具体的には、カオスニューラルネットワークのランダムな時系列入力に対する条件付き最大リアプノフ指数を、動的平均場理論を用いて解析的に求め、入力信号を大きくすると最大リアプノフ指数が減少することを示した。入力層と結合しているリカレントニューラルネットワークの素子の割合にはある臨界値が存在し、臨界値より小さい場合は、どのようにしても最大リアプノフ指数を負にできないこと、すなわちレザバーとして学習が不可能であることを示した．またその臨界値は、リカレントニューラルネットワークの自発ダイナミクスのカオスが強いほど大きくなることを明らかにした。逆に言えば、入力結合率を臨界値よりも大きく設定すれば、入力信号を適切に増幅することでカオスニューラルネットワークをレザバー計算として利用できることがわかった。本研究の結果は、レザバー計算の新たな設計指針となることが期待される。
|
| Strategy for Future Research Activity |
今後、事象が様々な時間間隔で生成される単純化した仮想的な世界を想定した問題設定を具体化し、レザバー計算機により仮想世界の複数の事象の時系列を学習することを実装する。それが成功した後、仮想世界の時間を「内的な時間」として認知したと見なす設定で次の課題【課題１】 レザバーのダイナミクスの性質(自発活動)と時間関連課題の学習能力の関係【課題２】学習後のレザバーにおける疾病を想定した耐障害性、を中心に検証する予定である。これらの事を理論的および系統的に調べるためには、動的平均場理論を用いた解析を適用できないか、特に複数パターンを安定的に学習可能な記憶能力および非線形演算能力を評価できないか検討する。また、ランダム切断に対するリヤプノフ指数との関係などを数値計算などで調べ、障害に対する振る舞いの理解につなげる。
|
| Causes of Carryover |
繰り越しの経費が大幅に大きかった理由は、主として型コロナウィルス感染拡大の収束の時期が想定外の長期となり、特に情報収集や学会の開催に関係する出張費が執行できなかったこと、半導体不足の影響で計算サーバー等の納入が遅れたことなどが原因である。次年度からは、遅れた計算サーバー等の調達も可能でありその経費に充当する。また、感染症が収束した後には積極的に学会等に成果を発表する経費にも使用する。
|
