| Project/Area Number |
23K28041
|
|---|
| Project/Area Number (Other) |
23H03351 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60020:Mathematical informatics-related
Basic Section 60010:Theory of informatics-related
Sections That Are Subject to Joint Review: Basic Section60010:Theory of informatics-related , Basic Section60020:Mathematical informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
武田 朗子 東京大学, 大学院情報理工学系研究科, 教授 (80361799)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Poirion PierreLouis 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (80835215)
|
|---|
| Project Period (FY) |
2023-04-01 – 2028-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,200,000 (Direct Cost: ¥14,000,000、Indirect Cost: ¥4,200,000)
Fiscal Year 2027: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2026: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2025: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 大規模非凸最適化 / 部分空間法 / ランダム行列理論 / ランダム部分空間法 / 制約付き最適化 / 最適化問題連続変形法 |
|---|
| Outline of Research at the Start |
機械学習分野では，深層学習の影響を受けて，大規模な非凸最適化問題を効率的に解くための最適化手法に対する需要が高まっている．本研究課題では，機械学習分野で盛んに研究されている大規模非凸最小化問題に対し，最適解に近い “良い” 解を効率的に求めるための理論保証付き解法を構築することを目的に研究を行う．「効率性」，「高い近似精度」は相反する特徴であり，両方を兼ね揃えた解法の開発は簡単ではない．昨年度に引き続き，様々な特徴を持った最適化問題に対してランダム空間法を開発する．考案した解法に対し，高確率でepsilon-近似停留点を得るためにはどれくらいの反復回数が必要かという反復計算量を評価する．
|
| Outline of Annual Research Achievements |
本年度の研究開始当初，下記の２つの研究目的を挙げた．
(1)[微分可能な目的関数最小化問題に対する部分空間法] 目的関数を2次関数に限定しない無制約非凸最適化問題に取り組み，新たな低次元空間法を構築したい．その解法の出す解の精度保証や収束スピードなどの理論保証を検討する.
(2)[部分空間法の制約付き最適化問題への拡張]無制約非凸最適化問題に対する解法を検討した後，制約付き非凸最適化問題に拡張する.
(1), (2)ともに研究を行い，研究成果が得られ，論文投稿に繋がった．具体的には，下記のような成果が得られた．
(1)微分可能な無制約最適化問題に対し，ランダム行列理論を用いて問題の規模を小さくした上でニュートン法を適用することでランダム部分空間ニュートン法を開発し，提案解法の出力する解に対して近似停留点の理論保証を与えた．また，高確率でepsilon-近似停留点を得るために必要な反復回数，つまり，反復計算量を評価した．さらにエラーバウンド仮定のもとで，局所的な速い収束率を保証し，数値実験を通してその収束率が達成できている様子を確認した．これまで開発されているランダム部分空間法において，局所的な速い収束率が保証されたのは初めてのことである．我々が開発した解析手法は，今後，ヘッセ行列情報を用いるランダム部分空間法を収束解析する際に同様に適用可能と期待している．
(2)ランダム部分空間法を，制約付き非凸最適化問題に拡張した．研究開始当初，ランダム行列による低次元化のおかげで，制約式の境界に最適解があるような問題に対しても生成される点列は内点になりやすいと期待し，部分空間法の制約付き最適化問題への拡張を目標に掲げた．この直感は正しく，部分空間を考えるおかげで各反復でのステップサイズが長く取れることを理論的に，かつ，数値実験を通して確認できた．期待以上の研究成果が得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
機械学習分野では，深層学習の影響を受けて，大規模な非凸最適化問題を効率的に解くための最適化手法に対する需要が高まっている．本研究課題では，機械学習分野で盛んに研究されている大規模非凸最小化問題に対し，最適解に近い “良い” 解を効率的に求めるための理論保証付き解法を構築することを目的に研究を行う.「効率性」，「高い近似精度」は相反する特徴であり，両方を兼ね揃えた解法の開発は簡単ではない．
2023年度は，ランダム行列理論に基づく技術を用いて「効率性」に焦点を当てて研究を行った．具体的には，微分可能な無制約最適化問題に対し，ランダム行列理論を用いて問題の規模を小さくした上でニュートン法を適用することでランダム部分空間ニュートン法を開発し，提案解法の出力する解に対して近似停留点の理論保証を与えた．また，高確率でepsilon-近似停留点を得るためにはどれくらいの反復回数が必要になるかという観点から，反復計算量を評価した．さらにエラーバウンド仮定のもとで，局所的な速い収束率を保証し，数値実験を通してその収束率が達成できている様子を確認した．これまで開発されているランダム部分空間法において，局所的な速い収束率が保証されたのは初めてのことであり，今後の後続研究にとって有益な成果と評価している．
「効率性」に焦点を当てて研究を行い，「高い近似精度」について検討する時間を十分に取れなかったものの，「効率性」については良い成果が得られた．総合すると，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
2023年度は，ランダム行列理論に基づく技術を用いて，微分可能な無制約非凸最適化問題の規模を小さくした上でニュートン法を適用し，ランダム部分空間ニュートン法を構築した．さらに解法の出力である解に対して理論保証を与えた. 今後，２つの研究の方向性が考えられる．
１つは，解法の工夫である．非常に効率のよいランダム部分空間ニュートン法を構築できたものの，部分空間とはいえヘッセ行列を保持・利用するのは計算時間がかかる．今後は，より大規模な非凸最適化問題を研究対象とし，ヘッセ行列を必要としない低次元空間法を構築する．具体的には，ランダム部分空間準ニュートン法を開発し，得られる解に対して近似停留点の理論保証を与えたい．また，高確率でepsilon-近似停留点を得るためにはどれくらいの反復回数が必要になるかという観点から，反復計算量を評価したい．
もう１つの方向性は，問題の拡張である．微分可能な無制約非凸最適化問題に対して，ランダム部分空間ニュートン法を構築した．次のステップとして，微分不可能な大規模問題やリーマン多様体上の最適化問題，２段階最適化法の部分空間法などの開発が考えられる．いずれの問題も微分可能な無制約非凸最適化問題に比べると，格段に扱いにくい性質を持った問題である．それぞれの問題に対して，ランダム部分空間法を構築し，解法の出力が最適性条件を満たすかの確認やその解法の計算量の解析を行う．
これらの解法構築と理論保証解析を行うとともに，最適解に近い “良い” 解を求める技法についても検討したい.
|
