2020 Fiscal Year Research-status Report
| Project/Area Number |
16K00347
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
新田 徹 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (20357726)
|
|---|
| Project Period (FY) |
2016-04-01 – 2022-03-31
|
| Keywords | ニューラルネットワーク / 特異点 / 深層学習 / ディープラーニング / 危点 / 学習 |
|---|
| Outline of Annual Research Achievements |
２０１９年度は非線形な深層ニューラルネットワーク（活性化関数はReLU関数)が（学習性能に悪い影響を与える）悪い局所解（学習誤差の大きい局所解）を持たないための十分条件を明らかにした。つまり、重み等のパラメータが従う確率分布の確率密度関数が偶関数（縦軸に関して対称）であるならば悪い局所解は存在しないことを数理的に証明した。特に、２０１８年度に導いた研究結果では、学習開始直後に十分条件は満たされなくなってしまい、悪い局所解が存在しないことが保証されなくなっていたが、２０１９年度は学習開始当初だけでなく、学習のすべての過程に渡って、十分条件が成り立つことを証明した。
２０１９度の解析対象であった深層ニューラルネットワークは無限個の中間ニューロンを持つ幅が無限であるようなモデルであったが、２０２０年度はそれを（本質的な特性を保持しつつ）実用に供することのできる程度のモデルに近似する手法等について検討した。その結果、四元数、特に可換四元数を利用するというアイディアに辿り着いた。可換四元数は構造化された４次元数であり、乗法に関して可換であることから、良質の特異点を持つと思われる（これは複素ニューラルネットワークの特異点からの類推である）。そこで、２０２０年度は可換四元数ニューロンを定式化し、その基本的性質を調べ、可換四元数ニューロンと実ニューロンおよび複素ニューロンとの関係や決定境界等の性質を明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
２０１８年度から、世界的な研究動向に鑑みて、個々の特異点の特定と解消に関する研究から、特異点の定性的な特性に関する研究に重点を移している。２０１８年度は悪い局所解の学習開始直後の特性について明らかにした。２０１９年度は当該結果を学習の全過程に渡る特性へと拡張した。２０２０年度は前年度の研究成果をより実用的にするための研究を実施した。本研究課題全体としては、概ね順調に進展していると考えている。
|
| Strategy for Future Research Activity |
２０２０年度に定式化した可換四元数ニューロンを深層化し、その基本特性を調べる。特に、無限の幅を持つ深層実ニューラルネットワークを想定し、性能評価を行う予定である。
|
| Causes of Carryover |
参加・発表を計画していた国際学会、国内学会等が新型コロナウイルスの影響により延期、中止、オンライン開催となったため、旅費の支出が想定よりも少なくなった。
|
