大規模最適化問題に対する自動適応性を持つ一次法の確立
Project/Area Number |
21K17711
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 60020:Mathematical informatics-related
|
Research Institution | Nihon University |
Principal Investigator |
伊藤 勝 日本大学, 理工学部, 助教 (90778375)
|
Project Period (FY) |
2021-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
Keywords | 非線形最適化問題 / 一次法 / ヘルダー条件 / 双曲型錐 / 自己同型群 / Frank-Wolfe 法 / 数理最適化 / 最適化アルゴリズム / エラーバウンド |
Outline of Research at the Start |
機械学習やデータマイニングなどにおいて求解が求められる大規模な最適化問題に対して、一次法は有力なアルゴリズムとして着目され、現在活発に研究されている。一次法におけるパラメータの選択やアルゴリズム設計は一次法の収束率に影響を与えるが、問題のクラスが複雑で問題構造に関わるパラメータを事前に知らない場合では、効率的な一次法の設計が困難である。本研究では、Lojasiewicz不等式などのエラーバウンドに現れる、問題構造に関するパラメータに自動で適応して高速化する一次法の構築およびその解析手法の確立を目指す。
|
Outline of Annual Research Achievements |
本年度の研究実績の概要は以下の3点にまとめられる。1つ目に、前年度より研究を進めていた課題として、機械学習やデータ分析に現れる大規模最適化問題に対するアルゴリズムのひとつである Frank-Wolfe 法の研究がある。この Frank-Wolfe 法について最小化したい目的関数が非凸関数である場合の考察を行った。非凸関数の最小化に対して、勾配にヘルダー連続性を課すとき、先行研究で知られる最良の計算量と同等の性能を持ちつつパラメータ調整不要な Frank-Wolfe 法を構築することに成功した。この手法に関して理論評価を導出するとともに数値実験による優位性を確認することができた。本結果を国際論文誌に投稿した。また2つ目に、前年度に研究成果の上がった双曲型錐の研究について、より深い考察を行った。特に双曲型錐の新しいクラスを提案することで、前年度に考察していた具体的な双曲型錐である非負象限や半正定値錐を包括的に扱えるようにし、更にその双曲型錐の導分の自己同型群の構造を決定することに成功した。本研究成果を、国際会議で発表するとともに、国際論文誌に投稿し、採択された。3つ目に、凸関数最小化における代表的なアルゴリズムのひとつである射影勾配法の解析が挙げられる。射影勾配法の加速化は目的関数値による最適性指標のもとでは理論面・実用面ともに洗練されてきているものの、勾配のノルムによる最適性指標に関しては最近になって理論的な進展が進みつつあり、実用的な課題も多い。本研究ではこの課題を理論面・実用面の双方に関して、アルゴリズムの正則化と再出発を用いることでこれまでの課題を一部解消するアルゴリズムを構築した。この成果は、次年度に国際会議や国際論文誌での発表を目指す。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
まず本年度の1つ目の成果である Frank-Wolfe 法の研究は、問題構造を表すパラメータが未知であっても実行可能である、適応的なアルゴリズムの開発に成功しており、非凸関数最小化という広いクラスの問題を対象にしているため、本研究課題の目的に合致した研究成果が得られたと考える。また、本年度の3つ目の成果である射影勾配法の加速化の解析に関しては、アルゴリズムの正則化と再出発の有用性を確認することができ、今後の研究に向けて示唆が得られたため、重要な研究成果につながると考えている。以上のことから、本研究の進捗状況は研究計画に対して順調に進展している。
|
Strategy for Future Research Activity |
本年度に得られた成果のうち、双曲型錐の新しいクラスを構築したことについて、このクラスの理論解析を進めていく必要があると考えている。特に、等質錐という双曲型錐のひとつがこのクラスに属すかどうかは、重要な課題として調査していく。また、射影勾配法の加速化を勾配ノルムの観点から解析する課題について、アルゴリズムの正則化と再出発の理論解析を進めていき、適応的なアルゴリズムの確立を目指す。
|
Report
(2 results)
Research Products
(7 results)