2018 Fiscal Year Research-status Report
| Project/Area Number |
16K00347
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
新田 徹 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (20357726)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | ニューラルネットワーク / 特異点 / 深層学習 / ディープラーニング / 危点 / 学習 |
|---|
| Outline of Annual Research Achievements |
本年度から、世界的な研究動向に鑑みて、個々の特異点の特定と解消に関する研究から、特異点の定性的な特性に関する研究に重点を移した。
線形な深層ニューラルネットワークが（学習性能に悪い影響を与える）悪い局所解（学習誤差の大きい局所解）を持たないことが２０１６年に証明された。それに対して、非線形な深層ニューラルネットワーク（活性化関数はReLU関数)の場合は、２つの仮定が置かれた上で悪い局所解を持たないことが証明された。本年度は、（これまで未解決となっていた）当該２つの仮定が成り立つための十分条件を探索的に調べた。その結果、重み等のパラメータが従う確率分布の確率密度関数が偶関数（縦軸に関して対称）であるならば、当該２つの仮定が満足されることを数理的に証明した。当該２つの仮定を外すことに成功したのは本結果が最初であると思われる。そして、その性質を満足するようなパラメータをもたらす初期化方法（even initialization）を提案した。これによって、最急降下法を使う場合は、少なくとも学習開始直後において、悪い局所解が存在しない状態を作り出すことが可能になった。提案したeven initializationがもらたすパラメータが取る値は、これまでに発見的に使われてきた一様分布を使う方法、およびKaiming Heらが提案した（正規分布を使った）He初期化法がもらたすパラメータが取る区間の一部に含まれることも明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度から、世界的な研究動向に鑑みて、個々の特異点の特定と解消に関する研究から、特異点の定性的な特性に関する研究に重点を移し、特異点の一種である悪い局所解の特性の解明がある程度進んだ。本研究課題全体としては、概ね順調に進展していると考えている。
|
| Strategy for Future Research Activity |
特異点の一種である悪い局所解の特性のさらなる解明に取り組む。具体的には、最急降下法を用いた場合の学習の全過程における悪い局所解の特性の解明に取り組む予定である。
|
| Causes of Carryover |
＜次年度使用が生じた理由＞ 特異点の定性的特性の研究動向の調査や準備をより深くじっくり行う必要が生じたため、国際学会発表や論文出版が予定よりは少なかった。特に、参加予定であった２件の国際会議に参加しなかったため、旅費が想定よりも少なく済んだ。
＜使用計画＞ 論文掲載料、研究調査・成果発表のための旅費、学会参加費、英文校正、和文英訳、書籍、ソフトウェアなどに支出する予定である。
|
