2019 Fiscal Year Research-status Report
超高次元機械学習モデルの学習ダイナミクスの究明と効率的学習法の開発
| Project/Area Number |
19K20337
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
二反田 篤史 東京大学, 大学院情報理工学系研究科, 助教 (60838811)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 確率的最適化法 / 加速分散縮小法 / カーネル法 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
機械学習の問題設定に対する確率的最適化手法に関して次の二つの成果を得た．
(1)ラベルの強低ノイズ条件下識別問題に対して再生核ヒルベルト空間での平均化確率的勾配降下法によって識別誤差が線形収束することを証明した．深層学習は識別問題の中でも取り分け画像や自然言語データで大きな成果を挙げているが，これらのデータセットは人間が高精度で認識可能であることからも分かるようにラベルは低ノイズ性を備えていると考えられる．このように現実的な設定下での理論解析であるが，既存研究ではこのような高速な収束性は一般に示されなかった．本成果はカーネル法について，即ち無限次元二層ニューラルネットワークの出力層の学習について平均化確率的勾配降下法が非常に高速に収束することを示したものであり，機械学習が識別問題において高精度を達成するための一要因を示したといえる．更にこの結果は一般の深層学習での学習ダイナミクスの理解にも繋がることが期待される．
(2)強凸最適化問題に帰着する経験損失最小化問題においてミニバッチを用いた確率的最適化手法が最適学習効率を発揮するための最小ミニバッチサイズの特定とそのような確率的最適化手法の存在を証明した．ミニバッチ法は機械学習の学習時間の短縮を目的として使用されるが，その効率性の限界について最適反復数を達成するための最小ミニバッチサイズという新たな視点を取り入れることで，その理論解析に取り組んだ．本研究ではこのような新たな最適性の視点を確率的最適化の研究分野に導入したことで，ミニバッチ法の新たな研究指針を与えたと言える．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は機械学習における確率的最適化手法の学習ダイナミクスの理解を目指し，以下の３つの研究方針を打ち出している．（研究１）低ノイズ条件下超高次元二層ニューラルネットワークの解析，（研究２）ResNetの関数勾配・最適輸送理論的解析，（研究３）ミニバッチ確率的勾配降下法の理論限界の究明と改良．
本年度の研究成果は，（研究１）の目標をカーネル法の設定，すなわち無限次元二層ニューラルネットワークの出力層の学習の場合に達成したと言って良い．また（研究３）についても機械学習の経験損失最小化問題が強凸最適化問題に帰着する場合において，ミニバッチを用いた確率的最適化手法に対する新たな評価指標を導入することで解決したと言える．
以上の研究成果は当初の目標達成に向けた大きな進展である．
|
| Strategy for Future Research Activity |
本研究で掲げた次の３つの研究に引き続き取り組む．（研究１）低ノイズ条件下超高次元二層ニューラルネットワークの解析，（研究２）ResNetの関数勾配・最適輸送理論的解析，（研究３）ミニバッチ確率的勾配降下法の理論限界の究明と改良．
（研究１）については無限次元二層ニューラルネットワークの出力層の学習の場合に解決したが，次はこの拡張に取り組む．具体的には，無限次元性を緩和し超高次元であるが有限サイズの二層ニューラルネットワークの出力層学習の場合の理論解析に取り組む．この結果を踏まえ入出力両層の解析へと発展させる計画である．（研究２）についてはこれまでの自身の研究成果である関数勾配理論を用いたResNetの理論解析を深化させることで，より緩和された条件下で大域的収束性が保証された学習手法の開発に取り組む．（研究３）は機械学習の経験損失最小化問題が強凸最適化問題に帰着する場合に大きな進展が得られたが，この結果をより一般の凸最適化問題に帰着する場合，非凸最適化問題に帰着する場合へと拡張していく計画である．またこれらの結果を踏まえ新手法の開発検討にも取り組む．
|
| Causes of Carryover |
計画どおりに予算を執行した結果，少額の次年度使用額が生じた．
次年度の書籍購入費に充てる計画である．
|
-
-
-
-
[Journal Article] Hyperbolic Ordinal Embedding2019
Author(s)
Atsushi Suzuki, Jing Wang, Feng Tian, Atsushi Nitanda, and Kenji Yamanishi
-
Journal Title
In Proceedings of Machine Learning Research (ACML2019)
Volume: 101
Pages: 1065-1080
Peer Reviewed / Open Access
-
-
-
-
-
-
-
-
-
-
-
