2018 Fiscal Year Research-status Report
パラメータ再定義法による自然勾配法実現を通した複雑な深層ネットワーク学習の効率化
| Project/Area Number |
18K18121
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
木脇 太一 東京大学, 大学院情報理工学系研究科, 特任助教 (70786011)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | バッチ正規化 / 深層ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本年度は研究遂行のための準備に多くの力を割いた．まず本テーマの遂行に必要である確率論・測度論，数理統計などの基礎的な数学知識を補強し，また機械学習・最適化理論に関する理解を深めるため，関連分野の論文および購入した書籍で学習を進めた．またそれと並行して最新の研究成果に関しても調査を進めた．このために特に当該分野での重要な成果が多く発表される国際会議であるNeurIPS（Neural Information Processing Systems）およびKDD（Knowledge Discovery and Data mining）へ参加した．KDDへの参加は情報収集とは別に文献[1]の発表も目的であった．文献[1]の研究は本テーマで対象とする深層ニューラルネットワーク（DNN）の実データへの応用に関するものであり，研究遂行において申請者は大きな役割を果たした．文献[1]の研究を通して得られたDNNの実験的な知見は，今後の本研究の遂行においても有用であると考えている．
[1] “Estimating Glaucomatous Visual Sensitivity from Retinal Thickness with Pattern-Based Regularization”, Suigura, Kiwaki, Yousefi, Murata, Asaoka, and Yamanishi, KDD 18
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度前半には研究計画書で記述した観点から実験および分析を行ったが，当初の見込みが外れ作業が難航した．研究計画の軌道修正を試みたが，その過程で文献[2,3]を知った．文献[2,3]は昨年のNeurIPSで発表された論文であり，NeurIPSへの参加で理解を深めることができた．文献[2] は本計画とは別の観点からバッチ正規化[4]がどのように機能するか実験と理論の両面から分析した研究であり，文献[3]はバッチ正規化の効果を実験的に分析した研究である．これらの文献は本研究で明らかにしようとしていた点のうちバッチ正則化のメカニズムを少なからず明らかにするものである．現在は文献[2,3]の成果を吸収した上で，本研究テーマの主な目的であった再帰的ニューラルネットワークなどの複雑なネットワーク構造に対しても機能するバッチ正規化の一般化を試みている．
[2] "How Does Batch Normalization Help Optimization?”, Santurkar et al., NeurIPS 18
[3] "Understanding Batch Normalization", Bjorck et al., NeurIPS 18
[4] “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift”, Ioffe and Szegedy, ICML 15
|
| Strategy for Future Research Activity |
“現在までの進捗状況”で述べた既存文献を踏まえると今後の研究では[2]および[3]の成果に基づいて，(1)バッチ正規化よりも効果的な正規化アルゴリズムの考案，(2)バッチ正規化以外の正規化アルゴリズム[5,6]の分析や[4]を交えた性質の理論的比較，そして(3)正規化以外の方法の検討が現実的であると考えている．特に(3)は，少数バッチサイズ下で見受けられる学習不安定性を解決するために重要であるかと思われる．また深層ニューラルネットワーク（Deep Neural Network, DNN）の学習を著しく改善するバッチ正規化のメカニズムを理解することは，DNNの効果的な学習にどの様な要因が必要であるか理解する糸口にもなると考えることができる．そのためより視野を広げてDNNの学習理論に関しても調査範囲を広げる予定である．
[5] "Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks”, Salimans and Kingma, NeurIPS 16
[6] “Layer Normalization”, Ba et al., https://arxiv.org/pdf/1607.06450v1.pdf
|
| Causes of Carryover |
書籍の購入を先送りにしたため予算を繰り越した．来年度，該当する書籍の購入に充てる予定である．
|
