|
最終年度では，1年目・2年目に提案したエピグラフ緩和（多層正則化関数最小化のテクニック：最外側関数と内部関数で定義されたエピグラフ集合制約に分解）の深層ニューラルネットワーク（DNN）への適用に関して検討を行った．従来，DNNとして様々なアーキテクチャが提案されているが（例：DnCNN），それらの多くは、ベクトルデータへの行列乗算（全結合層）・畳み込み演算（畳み込み層）・活性化関数（Relu関数）・バッチ正規化・サンプリング／プーリングのモジュールを多層に備えたシステムとして構成されるため，一つ一つの層の演算を関数とみなすことにより，全体として多層正則化関数として解釈することができる．さらに，上記に挙げたような基本モジュールで構成されたDNNとしての多層正則化関数に対してエピグラフ緩和適用することで現れるエピグラフ集合への射影（近接写像）はいずれも計算可能なため，結果的にDNNを最適化問題に導入して最適解を求解できることを示した．
DNNに非凸性を伴うモジュールが含まれる場合には，システム全体が凸性を失うため，正則化関数として導入する際に大域的最適解を求めることはできなくなる．ただし，前年度提案した「エピグラフ緩和多層LiGMEモデル」により，一部の場合においては全体の凸性は維持しながら非凸関数を取り扱えることを示した．
研究期間全体を通して，本研究課題では，多層正則化関数最小化の際に必要となる近接写像計算を可能にするためのエピグラフ緩和を導入し，その数学的性質の解析・多層正則化関数への適用を行い，最後にDNNを正則化関数として利用した最適化問題の求解を実現した．
|
