2018 Fiscal Year Annual Research Report
Intensifying deep learning theory and its application to structure analysis of deep neural network
| Project/Area Number |
18H03201
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
鈴木 大慈 東京大学, 大学院情報理工学系研究科, 准教授 (60551372)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 機械学習 / 統計的学習理論 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
・深層学習の汎化性能を理解するために，以下の三つの成果を出した．（１）Besov空間におけるReLU型深層ニューラルネットワークの適応力：機械学習では様々な形状の関数をデータから推定する必要がある．実は，深層学習はこの関数の形状に関して高い適応力を持っていることが示され，それによってカーネル法などの他手法と比べて高い推定精度を達成できることを示した．そのため，対象となる関数クラスとしてBesov空間を考え，スパース推定や関数近似理論を用いて深層学習の優位性を示した．（２）深層学習のモデル圧縮とその理論：深層学習はデータサイズに比べて大きなパラメータ数でも汎化することが知られている．その一つの理由として，ネットワークが圧縮できるからであるという知見がある．昨年度から引き続きこの方向性で深層学習の性質を調べ，圧縮方法の改良およびドメイン適合・プレトレイニングモデルの圧縮などに応用した．（３）深層学習の構造を自動的に構築するためのResNet型の学習方法も提案している．これは，ResNetを一層積み上げることが関数空間における勾配降下法の一反復とみなすことで実現可能な新しいブースティング手法である．
・確率的最適化の研究に関して，データの一部しか情報が得られない状況におけるオンラインスパース推定方法を提案した．例えば，病院における患者のデータは，各患者ごとにすべての項目についてデータが得られるわけではなく，あくまで一部しか観測できない．そのような状況においても正しいデータ解析を行えるように，データが逐次的に観測されるオンライン学習の状況で，真の回帰モデルがスパースな状況で，データがすべて観測できる状況とほぼ同じの最適な収束レートが達成できることが示された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
深層学習のモデル圧縮理論は昨年度より洗練され，いくつかの応用に発展している．また，Besov空間における推定理論を打ち立てることで，深層学習が本質的に「どう良いのか」という重要な疑問に一つの回答を与えたものと考えている．
さらに，確率的最適化やその関数空間での最適化といった手法も開発しており，おおむね順調に進展していると考えている．
|
| Strategy for Future Research Activity |
Besov空間での推定理論をさらに推し進め，古典的な関数空間とは異なる状況でどれだけ深層学習が他手法より優れていると言えるかを調べる．そのため，特に関数空間の非凸性に着目し，深層学習の良さに関する特徴付けを明確にする．
深層ニューラルネットワークの圧縮手法をさらに拡張し，様々なモデル探索手法に適用する．特にResNet型のモデル構築手法の研究で得た知見も援用しながら，ResNet型でないネットワークに対しても適用可能な手法を模索する．
深層学習の良さを定量的に評価するため，単純な全結合型ニューラルネットだけでなく，CNNやグラフCNNといったモデルも考察する．
確率的最適化の研究に関しては，判別問題において，判別が簡単な状況において従来よりより速い収束を示し，また，その拡張としてカーネルの低ランク近似を行う手法などを考察する．また，深層学習のような非凸最適化問題において，効率的な確率的最適化手法を提案する．非凸最適化問題においては，局所最適解の問題が生じるが，それをうまく回避する手法を提案する．
|
