2021 Fiscal Year Research-status Report
Statistical Mechanical Informatics of Deep Neural Networks
| Project/Area Number |
21K18146
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
吉野 元 大阪大学, サイバーメディアセンター, 准教授 (50335337)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Keywords | 深層学習 / ニューラルネットワーク / 情報統計力学 |
|---|
| Outline of Annual Research Achievements |
本年度は、ニューラル深層ニューラルネットワークによる機械学習の統計力学的解析について、以下のような成果が得られた。本研究は、レプリカ理論H. Yoshino, SciPostPhysCore 2, 005, 2020 をベースにしている。
(1) 生徒-教師シナリオに関するレプリカ理論の発展： (a) 上記の論文において、生徒ー教師シナリオに関しては、理想化されたベイズ最適な場合の解析を行なっていたが、ノイズの効果によってベイズ最適性が崩れた状況に理論を拡張した。解析の結果、ノイズが強くなるとレプリカ対称性の破れが起こること、
しかし、ネットワークを深くするとこれが回避されることがわかった。レプリカ対称性の破れが回避されるということは、学習（教師機械の推定）が困難になることが避けられることを意味する。これは、ネットワークを深くすることの一つの重要な利点であると考えられる。 (b) また、上記論文において、生徒ー教師シナリオについて、訓練データによる学習は解析されていたが汎化能力に関する理論解析がなされていなかった。これを具体的に行う方法が得られ、その解析を現在進めている。
(2) 生徒ー教師シナリオに関する数値シミュレーション： レプリカ理論に基づく解析に並行して、数値シミュレーションによる解析を進めた。理論に対応させて、活性化関数は符号関数に限定した。このため、通常の逆誤差伝搬に基づ勾配法は使えない。そこで、絶対零度のgreedyなモンテカルロシミュレーションをおこなった。極めて単純なアルゴリズムであるにも関わらず、十分長時間後には初期状態によらない平衡状態が達成されることがわかった。また理論的に予想されたように、学習は空間的に強い不均一性をもっており、ネットワークの入力・出力層付近でフラストレーションが強く働いていることが明らかになった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
教師ー生徒シナリオによる学習に関して、上記の通り、理論・数値シミュレーションの両面において有意な研究成果を得ることができ、両方を合わせた論文にまとめる見通しが得られた。
|
| Strategy for Future Research Activity |
(A) 今後、教師-生徒シナリオに関して、Cavity法に基づく解析を行う予定である。これにより、レプリカ理論、モンテカルロシミュレーションに加えて第3のアプローチが同じ問題に対して得られることになる。これによって複合的な視点が得られることの意義は大きい。また、新たな学習アルゴリズムが得られる可能性もある。
(B) 教師-生徒シナリオに関して、ベイズ最適性を崩す、さまざまな試みを展開する。特に、教師機械、生徒機械のアーキテクチュアが異なる場合の理論・数値解析を試みる。
(C) 活性化関数を符号関数から、Le RUなどより一般的な関数に拡張した理論の構築を試み、数値シミュレーションによる検証も試みる。
|
| Causes of Carryover |
本研究で特任研究員として雇用を予定していた海外在住の研究者が、コロナ感染拡大のために年度内に来日することができなかった。幸い、この研究者は2022年度4月に来日でき、特任研究員として雇用することができた。 また、計算機購入を予定していたが、世界的な半導体関連の物品調達の遅れによりこれも 年度内にはできなかった。しかし、こちらも状況は改善して来ており、2022年度においての本研究の予算使用計画に関しては問題ないと判断される。
|
