2020 Fiscal Year Annual Research Report

深層学習のダイナミクスを埋め込んだ物理リザバー計算の提案

Research Project

Project/Area Number	20J12815
Research Institution	The University of Tokyo
Principal Investigator	井上克馬東京大学, 情報理工学系研究科, 特別研究員(DC2)
Project Period (FY)	2020-04-24 – 2022-03-31
Keywords	リザバー計算 / 物理リザバー計算 / ニューロモーフィックデバイス / 非線形力学系 / リカレントニューラルネットワーク / 深層学習 / 機械学習
Outline of Annual Research Achievements	本研究では、深層学習の学習過程をダイナミクスとしてとらえ高次元力学系上に構成する汎用的な設計論の構築を目指している。同時に学習過程を力学系上に実装する際に要求される制約条件を明らかにし学習機能の本質に迫る。本年度はその第一歩として、学習過程をニューラルネットワーク上で表現するアルゴリズムの開発に注力し、そのための基礎的な評価実験を行った。その結果、単純な設定において、教師あり学習の過程をニューラルネットワークのダイナミクスとして表現することに成功した。次年度以降は、この構成アルゴリズムを基に研究をより大きく展開していく予定である。また並行して、脳活動において広く観察されるカオス現象の情報処理における役割を明らかにするために、高次元カオス力学系上にカオス的遍歴と呼ばれる非線形現象の局所的なパターンと大域的な遷移則の双方を自在に設計する手法を提案した [K. Inoue, et. al., Science Advances, 2020.]。この高次元カオス力学系の制御方法は、自発的な行動生成を行う人工知能の実装の他、物理系のカオスダイナミクスを積極的に活用するニューロモーフィックデバイスの制御に貢献することが期待される。その他、やわらかいデバイスの情報処理媒体としての潜在的な能力を評価するため、柔軟体の運動を動画像から抽出する手法を開発し、Soft robotics誌においてツールのソースコードとともに公開した [K. Inoue, et. al., Soft Robotics, 2021.]。本研究で開発されたツールはソフトロボットの運動制御のみならず軟体動物の運動抽出等にも応用でき、ソフトロボティクスや物理レザバー計算にとどまらない幅広い分野で活用されることが期待される。
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason 今年度は、教師あり学習の学習過程を非線形力学系のダイナミクスとして表現するアルゴリズムを開発し、実際に簡易的な設定において学習過程をニューラルネットワークにおいて構築できることを確認した。このアルゴリズムは本研究の中軸に位置けられるものであり、その意味で十分な研究の進展があったといえる。また高次元カオス力学系におけるカオス的遍歴の設計手法は、力学系の内部構造を設計せずに達成されるため、ニューロモーフィックデバイス等の物理系のダイナミクスの制御に活用できる。したがって、当手法の開発において得られた知見は、今後学習過程の物理実装を目指す上で役立てられることが期待される。このように、本研究の核となる技術の研究に関して進歩があったため、当初の計画以上の進展があったと言える。
Strategy for Future Research Activity	今後の研究の推進方策としては、まず引き続き埋め込みアルゴリズムの改良および評価を続ける。特にスケーラビリティを向上させるため、より複雑な設定での学習過程の表現が可能なように埋め込みアルゴリズムを拡張・改良することが急務であり、今後の研究の中の重要課題に位置付けられる。また、得られた力学系に関する解析も同時に進める。また並行して、物理系上での学習過程の実装に関する研究を進める。