2019 Fiscal Year Research-status Report
ビッグデータ機械学習のためのスケーラブルな非線形非凸多様体最適化手法
| Project/Area Number |
19K12115
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
笠井 裕之 早稲田大学, 理工学術院, 教授 (40312079)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | リーマン多様体 / 確率的勾配法 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
ビッグデータを対象とした機械学習問題においては，対象とするデータが大規模・高次元データであること，対象とするデータには高い冗長性があり大きなノイズや異常値も多数含まれること，要求学習精度については，ある程度の訓練誤差精度を達成することで実用に耐えうる十分な汎用誤差精度を達成できる（過学習を抑制する）こと，等の理由から一次最適性を実現する確率的勾配法が広く用いられる．確率的勾配法の最も重要な特徴は，各反復処理あたりの処理量がデータサイズに依らず一定である点にある．一方で，その収束レートは強凸関数においてもサブ線形収束であることから，近年，その収束レートを改善すべく検討が進められてきた．特に，データ数が有限な場合にその構造を利用して確率的勾配の分散を縮小する手法により，従来では達成し得なかった線形収束を有する手法が多数発表された．このような背景を受け，応募者はこれらのユークリッド空間の手法を多様体上の手法へ一般化し，従来の決定論的手法（多様体上の最急降下法/共役勾配法/ニュートン法/準ニュートン法等）より高速な多様体確率的勾配法およびその収束解析を，世界に先駆けて多数発表してきた．一方，深層学習の入力層，中間層，出力層で扱うパラメータが，ある幾何的制約を持つ多様体上に分布する問題が実問題として頻繁に現れる．しかしながら，前記のユークリッド空間内の分散縮小確率的勾配法を深層学習に適用した場合，問題の非線形性に起因して，達成される性能が必ずしも良くないことが報告されている．そこで本研究では，多様体深層学習に適した一次最適性を実現する確率的勾配法とは？の問いについて，これまで応募者が検討した手法に加えて，座標変換等を考慮した新たな手法からアプローチについて検討した．その結果，提案手法は従来法と比較して，数値実験において安定した収束性を示すとともに，理論的にも収束性することを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
計画した内容の一部は進んでいるものの，一部において，理論的な検討にいくつかの問題があり，十分に進んでいるとは言い難い．
|
| Strategy for Future Research Activity |
ここ一年で発表された，他分野での検討を参考にしながら，理論面での打開策を探っていく．あわせて，応用面においても，様々な構造情報を用いた手法を検討し，数値実験等でも有効性を検証していく．
|
| Causes of Carryover |
学会出張等が延期となっため．
|
