| 研究課題/領域番号 |
16K00347
|
|---|
| 研究機関 | 立教大学 |
|---|
研究代表者 |
新田 徹 立教大学, 人工知能科学研究科, 特任教授 (20357726)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2023-03-31
|
| キーワード | ニューラルネットワーク / 特異点 / 深層学習 / ディープラーニング / 危点 / 学習 |
|---|
| 研究実績の概要 |
２０１９年度は非線形な深層ニューラルネットワーク（活性化関数はReLU関数)が（学習性能に悪い影響を与える）悪い局所解（学習誤差の大きい局所解）を持たないための十分条件を明らかにした。つまり、重み等のパラメータが従う確率分布の確率密度関数が偶関数（縦軸に関して対称）であるならば悪い局所解は存在しないことを数理的に証明した。特に、２０１８年度に導いた研究結果では、学習開始直後に十分条件は満たされなくなってしまい、悪い局所解が存在しないことが保証されなくなっていたが、２０１９年度は学習開始当初だけでなく、学習のすべての過程に渡って、十分条件が成り立つことを証明した。２０１９度の解析対象であった深層ニューラルネットワークは無限個の中間ニューロンを持つ幅が無限であるようなモデルであったが、２０２０年度はそれを（本質的な特性を保持しつつ）実用に供することのできる程度のモデルに近似する手法等について検討した。その結果、四元数、特に可換四元数を利用するというアイディアに辿り着き、可換四元数ニューロンを定式化し、その基本的性質を調べ、可換四元数ニューロンと実ニューロンおよび複素ニューロンとの関係や決定境界等の性質を明らかにした。さらに、２０２１年度は双対数に注目し、双対ニューラルネットワークを定式化し、その基本的性質を調べた結果、剪断に関する汎化能力を持つことを明らかにした。双対数は虚部の基底を２乗すると０になる数であり、良質な特異点を持つと予想される。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
２０１８年度から、世界的な研究動向に鑑みて、個々の特異点の特定と解消に関する研究から、特異点の定性的な特性に関する研究に重点を移している。２０１８年度は悪い局所解の学習開始直後の特性について明らかにした。２０１９年度は当該結果を学習の全過程に渡る特性へと拡張した。２０２０年および２０２１年度は２０１９年度の研究成果をより実用的にするための研究を実施した。本研究課題全体としては、概ね順調に進展していると考えている。
|
| 今後の研究の推進方策 |
２０２０～２０２１年度に定式化した可換四元数ニューラルネットワークおよび双対ニューラルネットワークを深層化し、その基本特性を調べる。特に、無限の幅を持つ深層ニューラルネットワークを想定し、性能評価を行う予定である。
|
| 次年度使用額が生じた理由 |
参加・発表を計画していた国際学会、国内学会等が新型コロナウイルスの影響により延期、中止、オンライン開催となったため、旅費の支出が想定よりも少なくなった。
次年度においては、モデルの性能評価をより精力的に実施するために、高性能なコンピュータ等を早い時期に調達する。また、研究成果の国際学会、国内学会等における発表のための旅費等に使用する。
|
