Scalable non-linear and non-convex manifold optimization for big data machine learning
| Project/Area Number |
19K12115
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2019: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
|
|---|
| Keywords | 最適化 / 多様体 / 確率的勾配法 / 最適輸送問題 / Wasserstein距離 / リーマン多様体 / 深層学習 / 機械学習 / 多様体最適化 / ビッグデータ / 非線形非凸 |
|---|
| Outline of Research at the Start |
本研究では，スケーラブルな非線形非凸多様体最適化手法について研究する．具体的には，直交部分空間や正定値行列等の多様体制約付き深層学習のための深層学習確率的勾配法，二次最適性を実現する非厳密三次正則化法及び非厳密信頼領域，緩和更新処理に基づく確率的勾配法，またそれらの応用，オープンソフトウェアの公開と実データを用いた評価，について研究する．
|
| Outline of Final Research Achievements |
This project addresses some scalable non-linear and non-convex optimization method on manifolds for big-data machine learning problems. For this, this project particularly considers stochastic gradient algorithms on manifolds for deep learning, a second-order inexact trust-region algorithms on manifolds, and those application studies on some numerical applications. In addition, optimal transport problem is addressed, and its optimization algorithm and some applications are investigated.
|
| Academic Significance and Societal Importance of the Research Achievements |
多くの検討の対象がユークリッド空間を対象としているのに対して，本研究が対象とする空間はリーマン多様体であることから，その間に大きな理論上・実装上・実応用上の隔たりがある．リーマン多様体最適化は，従来のユークリッド空間における制約付き最適化とは全く思想が異なり，近年研究が本格化された極めて新しい手法である．日本国内での理論的・実践的研究例は極めて少ない．本研究は，これまでの応募者の研究成果を発展させ，近年進展が著しい深層学習についてリーマン多様体最適化の視点からアプローチするものであり，他に例を見ない極めて斬新な取り組みである．
|
Report
(4 results)
Research Products
(23 results)
