2023 Fiscal Year Annual Research Report
A statistical physics and dynamical system approach to input-output integrated random networks
Publicly Offered Research
| Project Area | Foundation of "Machine Learning Physics" --- Revolutionary Transformation of Fundamental Physics by A New Field Integrating Machine Learning and Physics |
|---|
| Project/Area Number |
23H04521
|
|---|
| Research Institution | Meiji University |
|---|
Principal Investigator |
中野 直人 明治大学, 先端数理科学研究科, 特任准教授 (30612642)
|
|---|
| Project Period (FY) |
2023-04-01 – 2025-03-31
|
| Keywords | ランダムネットワーク / レザバーコンピューティング / 統計物理 / 力学系 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
再帰的ニューラルネットワークの１種であるレザバーコンピューティング (RC) は，学習コストの低さやタスクに対する柔軟性のため，幅広い分野で応用されている．本研究は，力学系と統計物理のアプローチから「どのような入出力時系列に対して，どのように RC のネットワークを設計すれば良いか」の方法論の構築を目的としている．RC での時系列推定タスクにおいて，対象の入出力データを内部ネットワークと統合した拡大ネットワークを導入し，RC によってエミュレートされる力学系の再現性の評価方法を検討した．入力層，内部層，出力層は相対的なものであり，全て１つのネットワークで記述することは元々可能である．それに加えて，学習可能であるという理想的な条件下では，入力層の影響は内部層に反映されるため，内部層の状態の時間発展から入力データを再構成することが可能である．そのため，入出力層を縮約して，内部層の状態だけでネットワークモデルを記述することができる．これには埋め込み時系列解析で用いる力学系の縮約理論を用いた．一方，RC は出力層への重みのみを学習するという低学習負荷の機械学習手法であることが長所であったが，入出力を縮約したモデルに対する最小二乗法は従来のように RC における内部層の状態に対する線形重回帰には帰着させられない．これによる計算量増加を避けるためオンライン最小二乗法等のオンライン学習を用いるなどの検討を漸次進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度は当初計画に沿う形で，拡大ランダムネットワークの学習能力に関して研究の進展が得られたことが主な理由である．研究代表者の機械学習的手法の知見と埋め込み時系列解析の知見を合わせて得ることができたと言える.
|
| Strategy for Future Research Activity |
今後の研究の推進については，MSRDJ 経路積分の方法を用いて，入出力データの力学系が加わった形の拡大ネットワークに対して普遍類を導出することを目指す．その普遍類の相図を作成し，各相において学習可能性の評価を行う．また，遅延座標系の理論を用いた拡大ネットワークの解析を行う．内部ネットワークから入力データを遅延座標埋め込みと消去理論を用いて復元し，仮想的に入力データを消去したネットワークを導出する．さらに2次元相図上の各パラメータでレザバーコンピューティング (RC) のシミュレ ーションを行い，その予測誤差を計算する．その予測性能分布を2次元上にマップし，入力がない場合の相図と比較することで，入出力を内部ネットワークに吸収させた場合の分布の変化を定量化する．これによって，RC の普遍的な性質を導く方法論の整備を推進したい．
|
