| Outline of Annual Research Achievements |
本研究の目的は, 深層学習の数理的基盤となる枠組みを, ランダム結合をもつニューラルネットワークの解析に基づいて構成することである. 研究実施計画最終年度である本年度は, 課題1のランダム深層ニューラルネットの理論構築から課題2の学習手法への応用まで, まんべんなく成果を得ることができた. 具体的には, 局所受容野の構造を埋め込んだランダム結合を持つモデルでNTKレジームにおける学習を考え, 局所受容野の構造に応じて, 入力摂動に対する頑健性が得られることを明らかにした. 成果は国際英文雑誌に採択された. また記憶埋め込み結合をもつ連想記憶モデルに関連しては近年, 深層学習で広く使われる自己注意機構と連続値Hopfieldモデルとの対応が報告されている. このモデルの理解を広げるため, 本年度はこのHopfieldモデルの学習に対応するBoltzmann machineを提案し, その学習の典型的挙動を理論解析および数値実験から明らかにした. 成果は国際英文雑誌に採択され, 今後, 記憶埋め込み型モデルの視点から利便性の高い深層モデルの拡張・提案を行う研究群に対し, 基盤となる知見を与えることが期待される. さらに, 学習手法に関連して, 近年の深層学習の発展によって注目を集めている知識転移, 特に継続学習において, 汎化誤差解析を実施した. 具体的にはNTKレジームにおける継続学習の汎化性能をレプリカ解析によって行い, 知識転移が性能の劣化なく機能するためには, 学習するタスクの類似度だけでなく, タスク間の訓練サンプル数の均衡が重要であることを明らかにした. 成果は情報系国際会議に採択された. 研究期間全体を通じて実施した研究の成果は, 以上の研究実績とこれまでの概要からわかるように, 遂行予定であった課題の各々で十分な成果を得ることができたといえるだろう.
|
