2019 年度実施状況報告書

ニューラルネットワークの特異点の解消

研究課題

研究課題/領域番号	16K00347
研究機関	国立研究開発法人産業技術総合研究所
研究代表者	新田徹国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (20357726)
研究期間 (年度)	2016-04-01 – 2023-03-31
キーワード	ニューラルネットワーク / 特異点 / 深層学習 / ディープラーニング / 危点 / 学習
研究実績の概要	昨年度から、世界的な研究動向に鑑みて、個々の特異点の特定と解消に関する研究から、特異点の定性的な特性に関する研究に重点を移した。線形な深層ニューラルネットワークが（学習性能に悪い影響を与える）悪い局所解（学習誤差の大きい局所解）を持たないことが２０１６年に証明された。それに対して、非線形な深層ニューラルネットワーク（活性化関数はReLU関数)の場合は、２つの仮定が置かれた上で悪い局所解を持たないことが証明された。昨年度は、当該２つの仮定が成り立つための十分条件を探索的に調べた結果、重み等のパラメータが従う確率分布の確率密度関数が偶関数（縦軸に関して対称）であるならば、当該２つの仮定が満足されることを数理的に証明した。そして、その性質を満足するようなパラメータをもたらす初期化方法（even initialization）を提案した。しかしながら、一般に、学習では重み等のパラメータの更新が行われる為、学習開始直後に当該２つの仮定は満たされなくなってしまい、悪い局所解が存在しないことは保証されなくなる。そこで、本年度は学習開始当初だけでなく、学習のすべての過程に渡って、当該２つの仮定が成り立つことを証明した。証明にはJacotらの研究結果を用いた。つまり、幅が十分広い（つまり、中間ニューロン数が十分多い）深層ニューラルネットワークでは、重み等のパラメータが従う確率分布は初期値の確率分布からほとんど変化することはないという事実を使って証明を行った。
現在までの達成度 (区分)	現在までの達成度 (区分) 2: おおむね順調に進展している理由昨年度から、世界的な研究動向に鑑みて、個々の特異点の特定と解消に関する研究から、特異点の定性的な特性に関する研究に重点を移した。昨年度は特異点の一種である悪い局所解の特性に着手し、学習開始直後の特性について明らかにした。本年度は、学習の全過程に渡る特性について明らかにした。本研究課題全体としては、概ね順調に進展していると考えている。
今後の研究の推進方策	解析対象とした深層ニューラルネットワークは十分多くの中間ニューロン数を持つ幅が十分に広いモデルであったが、それを（本質的な特性を保持しつつ）実用に供することのできる程度のモデルに近似する手法等について検討する。
次年度使用額が生じた理由	＜次年度使用が生じた理由＞　年度末に参加を予定していた国際学会、国内学会等が新型コロナウイルスの影響により中止され、参加できなかったため、旅費の支出が想定よりも少なくなった。＜使用計画＞　論文掲載料、研究調査・成果発表のための旅費、学会参加費、英文校正、和文英訳、書籍、ソフトウェアなどに支出する予定である。