Reservoir-computing based on the field theory of dynamically balanced neuronal networks

Research Project

Project/Area Number	19K20359
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 61040:Soft computing-related
Research Institution	Nihon University
Principal Investigator	HAYAKAWA Takashi 日本大学, 医学部, 助教 (30756789)
Project Period (FY)	2019-04-01 – 2022-03-31
Project Status	Completed (Fiscal Year 2021)
Budget Amount *help	¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000) Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000) Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000) Fiscal Year 2019: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Keywords	ニューラルネットワーク / レザボワ計算 / 機械学習 / 脳神経回路 / 統計力学 / 力学系 / ランダム神経回路 / 場の理論 / 統計的学習理論
Outline of Research at the Start	時系列を処理する際に過去の情報を記憶して役立てるには、リカレント神経回路(RNN)の記憶効果を利用するのが一般的であり、広く工学応用されている。しかしRNNの動作を直観的に把握することは難しく、理論的な解明が待たれている。申請者は自身の先行研究で、動的な興奮・抑制均衡という性質をもつ広いクラスのRNNを、場の理論の手法を用いて理論的に記述することに世界で初めて成功した。そしてこの新しいクラスのRNNが学習に有用な性質を備えていることに気付いた。本研究は、レザボワ計算とよばれる枠組みの中でこれらの性質を学習に役立てる方法を確立し、その際の回路の性能を理論的に明らかにする。
Outline of Final Research Achievements	We previously constructed a novel statistical mechanical theory for critically balanced neural networks. In this research project, we aimed at improving performance in a machine learning problem called reservoir computing based on this theory. First, we succeeded in developing a response theory that describes the information the neural networks probabilistically read out in response to external inputs. Using this theory, we showed that the way neural networks retain information about the input largely depends on the details of their connectivity. Then, we numerically showed that the performance in reservoir computing can be improved by pretraining balanced neural networks so that the information-retaining properties of the networks become favourable to learning. Furthermore, we numerically demonstrated that generalisation performance of the networks is improved by using an algorithm derived from a learning theory for balanced neural networks.
Academic Significance and Societal Importance of the Research Achievements	人工神経回路を用いたAIは一部の情報処理では動物脳を超えた性能を示すが、過去の情報を記憶して未来に活かす潜在能力を秘めたリカレント神経回路については未だ技術的なブレイクスルーや理論的な解明が待たれている段階である。研究代表者は神経回路の学習に関して近年一定の成功をおさめている統計力学的アプローチを用い、これまで調べられていなかった動物脳にみられる動的均衡という性質を持つリカレント神経回路の理論を世界に先駆けて樹立し、本研究課題を通してその学習における有用性を明らかにした。この研究結果により、リカレント神経回路による過去の記憶の読み出し性能を飛躍的に向上する手がかりが得られた可能性がある。