2022 Fiscal Year Annual Research Report
Resolution of singularities in neural networks
| Project/Area Number |
16K00347
|
|---|
| Research Institution | Rikkyo University |
|---|
Principal Investigator |
新田 徹 立教大学, 人工知能科学研究科, 特任教授 (20357726)
|
|---|
| Project Period (FY) |
2016-04-01 – 2023-03-31
|
| Keywords | ニューラルネットワーク / 特異点 / 深層学習 / ディープラーニング / 危点 / 学習 |
|---|
| Outline of Annual Research Achievements |
２０２２年度は複素数の完全な統計的情報を複素ニューラルネットワークに導入するという着想を得た。そのような複素ニューラルネットワークを定式化し、コンピュータ実験を行った結果、これまでの複素ニューラルネットワークが持っている2次元アフィン変換学習能力とは異なった能力を持つことを明らかにした。つまり、縮小変換を学習させただけで、縮小変換に加えて対称変換を汎化する複素ニューラルネットワークが実現された。
２０２２年度の研究成果は、２０２１年度までに得られた研究成果をより実用的にするためのものの一つである。つまり、無限個の中間ニューロンを持つ幅が無限であるような深層ニューラルネットワークを（本質的な特性を保持しつつ）実用に供することのできる程度のモデルに近似する手法に資するものである。これまで、この他に可換四元数および双対数を利用するというアイディアに基づき、可換四元数ニューロン、双対ニューロン、双対ニューラルネットワークを定式化し、それらの基本的性質を調べてきた。
これらの手法は、（学習性能に悪い影響を与える）悪い局所解（学習誤差の大きい局所解）を持たない無限個の中間ニューロンを持つ幅が無限であるような非線形深層ニューラルネットワークの近似的実現に資するものであるが、そのことをコンピュータ・シミュレーションで実証してゆくことが今後の課題である。
当初の研究計画ではニューラルネットワークが持つ個々の特異点の特定と解消が目標であったが、２０１８年度からは世界的な研究動向に鑑みて、個々の特異点の特定と解消に関する研究から、特異点の定性的な特性に関する研究に重点を移した。非線形な深層ニューラルネットワークが悪い局所解を持たないための十分条件を明らかにし、その近似的実現に資する手法をいくつか提案したという意味で、目標はある程度達成できたと考えている。
|
| Remarks |
T. Nitta, "Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime", arXiv preprint, arXiv:1806.04884v3 (2022).
|
