2019 Fiscal Year Research-status Report
| Project/Area Number |
18K19793
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
福水 健次 統計数理研究所, 数理・推論研究系, 教授 (60311362)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鈴木 大慈 東京大学, 大学院情報理工学系研究科, 准教授 (60551372)
今泉 允聡 統計数理研究所, 数理・推論研究系, 助教 (90814088)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 人工知能 / 深層学習 / ニューラルネットワーク / 理論解析 |
|---|
| Outline of Annual Research Achievements |
本研究は深層学習の繰り返し更新則の挙動（学習ダイナミクス）を解析することにより，その高い能力の要因を理論的に究明し，その知見に基づいて，はるかに低コストで安定した学習が可能な大自由度学習モデルを開発することを目的としている．その目的に沿った研究成果として，以下の２つの結果を得た．
（１）ReLUや滑らかなシグモイド関数を活性化関数として持つ深層ニューラルネットモデルに対して，中間層が必要以上の素子数を有する場合を考え，その冗長なパラメトリゼーションが損失関数の停留点構造にどのような影響を与えるかを理論的に解析し，パラメータ空間の低次元部分集合が同一の関数を与える平坦な鞍点を構成することを示した．また，その解析とPAC-Bayes的議論を組み合わせることによって，冗長なパラメトリゼーションによる汎化誤差の劣化は，正則なパラメトリゼーションを持つ場合と比較して小さいことを示した．
（２）敵対的生成ネットワーク（GAN)モデルの生成器の学習ダイナミクスを，Lipschitz-smoothnessによる収束の十分条件を考察することによって解析した．その結果として，GANの識別機が完全に学習できるという条件の下，生成器の勾配法による学習が収束するための十分要件を明らかにした．さらに既存のよく用いられる学習安定化手法が，この十分条件を部分的に満たす効果を与えていることを示した．また，inf-convolutionの概念を用いることによって，上記の十分条件をすべて満足するための，識別機の学習に対する正則化項の導入法を提案し，簡単な計算機実験によって理論解析の妥当性を検証した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
業績で述べた（１）（２）の成果をまとめた論文が，それぞれ機械学習・人工知能分野のトップ国際会議である Neural Information Processing Systemsおよび International Conference on Representation Learning に採択されており，目的に対して十分な成果が得られたと考える．
|
| Strategy for Future Research Activity |
本年度までの研究によって，深層構造の学習ダイナミクスに関してはさまざまな知見が得られた．来年度は，カーネル法と深層学習を融合した確率推論法の研究，およびウェーブレットと深層学習の融合による時系列解析法の研究を集中して推進したい．
|
| Causes of Carryover |
３月に予定していた国内出張が新型コロナ肺炎の影響で実施不能となり，計画よりも１４万程度下回る支出となった．２０２０年度，研究を計画通り遂行可能とするために，オンライン会議に必要な機器の購入などに充当する計画である．
|
