2017 Fiscal Year Annual Research Report
Theories of structured estimation methods for large scale data and their applications
| Project/Area Number |
25730013
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
鈴木 大慈 東京大学, 大学院情報理工学系研究科, 准教授 (60551372)
|
|---|
| Project Period (FY) |
2013-04-01 – 2018-03-31
|
| Keywords | 機械学習 / 統計的学習 / 深層学習 / 確率的最適化 / スパース推定 / 確率密度比 / ビッグデータ |
|---|
| Outline of Annual Research Achievements |
今年度は，統計的学習理論の研究として深層学習を重点的に研究し，効率的な計算法として確率的分散縮小勾配法の改良法を提案した．
深層学習の汎化誤差解析として各層のノード間の分散共分散行列に注目し，その固有値の分布によって決まる汎化誤差評価を行った．ネットワークの複雑さとして，固有値の分布によって決まる「自由度」と呼ばれる量を導入し，それによって実質的次元が決まること，そしてネットワークの適切なサイズが自由度から決められることを導いた．ネットワークのサイズによりバイアス-バリアンスのトレードオフが起きるが，そのバランスを取ったネットワークのサイズは固有値が早く減少すれば小さく，固有値が遅く減少すれば大きくなるという結果が得られた．応用としてネットワークのモデル圧縮にも応用を進めた．
大規模データの学習において確率的最適化はスタンダードな手法である．その中でも確率的分散縮小勾配法と呼ばれる手法が頻繁に用いられている．本研究では，これを改善し，ミニバッチサイズに対して従来法よりも計算効率が良い手法を提案した．より具体的には，ミニバッチサイズを増加させても総計算量の増加が緩やかであり，各更新を並列計算することで少ない反復で最適解に収束させることができる．並列化の恩恵をより良く受けられるという点で大規模データ解析により適した手法である．分散縮小勾配法は内部ループと外部ループの二重構造になっているが，提案手法はNesterovの加速法を内部と外部に適用した方法である．
上記以外にも，スパース推定の新しい方法として，変数間の相関が強くても重複した変数を選ばず，似たような変数からなるべく一つの変数を選ぶ手法を提案した．また，確率密度比推定において外れ値に頑健な手法を提案し，その理論解析を行った．
|
