2021 Fiscal Year Research-status Report
Study on algorithms of numerical methods for large scale nonlinear optimization problems and their implementation
| Project/Area Number |
20K11698
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
矢部 博 東京理科大学, データサイエンスセンター, 教授 (90158056)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
成島 康史 慶應義塾大学, 理工学部(矢上), 准教授 (70453842)
中山 舜民 中央大学, 理工学部, 助教 (90847196)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 非線形最適化 / 無制約最小化問題 / 制約条件付き最小化問題 / 非線形半正定値計画問題 / 準ニュートン法 / 近接勾配法 / 主双対内点法 / リーマン多様体最適化 |
|---|
| Outline of Annual Research Achievements |
非線形最適化問題に対する数値解法について以下の通り研究した。研究成果の一部は日本OR学会、研究集会（京都大学数理解析研究所、統計数理研究所）、国際会議等で発表した。また、研究成果が学術論文誌等に掲載された。
１．機械学習で扱われる微分可能な関数と非平滑な凸関数の和で表わされる最適化問題に対する数値解法を開発した。この問題に対する解法として知られているニュートン型近接勾配法の枠組みにBroyden公式族に基づいたメモリーレス準ニュートン法を適用するとともにその数値解法の大域的収束性を示した。メモリーレス準ニュートン法を適用し、さらに内部反復の近接写像を非厳密に解くことで、ニュートン型近接勾配法の欠点である重み付き近接写像の計算効率の悪さを改善することに成功した。
２．刈込LASSO罰則と呼ばれる関数と回帰モデルを組み合わせた非凸なスパースモデルを扱った。この問題は近接勾配法を用いて解くことが可能であり、得られる解が停留点と呼ばれる最適性条件を満たす点であることが知られているが、既存の近接勾配法で得られる解が停留点よりも強い最適性条件として知られている「方向停留点」であることを証明した。さらに、外れ値を考慮したスパースロバスト回帰モデルを構築してPALMと呼ばれる方法に非単調直線探索とBarzilai-Borwein法を適用したGeneral PALM (GPALM)を開発し、近接勾配法と同様に方向停留点に収束することを証明するとともに数値実験を通じてその性能を評価した。
３．リーマン多様体上の最適化問題に対する準ニュートン法の大域的収束性について研究した。スペクトラルスケーリングやLi-Fukushimaの補正を導入して、Broyden 公式族（凸クラスおよび前凸クラスを含む）に基づいたメモリーレス準ニュートン法を提案し、その大域的収束性を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
非線形最適化問題に対して新しい数値解法を提案し、その収束性についてきちんと解析するとともに、代表的なテスト問題に対する数値実験を実施することによって、提案手法の有効性、実用性についても検証している。
|
| Strategy for Future Research Activity |
最適化問題に対する数値解法について、さらに新しい観点から最適化法を提案するとともに、提案手法の収束性について解析していく。また、機械学習等の応用分野も視野に入れて、関連分野の研究動向を把握するために国内外の学会等に参加して、他大学・他研究機関の研究者と研究交流を行う。具体的な計画は以下の通りである。
１．機械学習などの分野への応用を考慮して我々が提案したメモリーレス準ニュートン法に基づいた非厳密ニュートン型近接勾配法は、微分可能な関数と非平滑な凸関数の和を最小にするアルゴリズムである。一方、実用上の問題として、非平滑な項が非凸関数であるような最小化の方がよりスパースな解を得られることが知られている。特に非平滑なDC関数（凸関数と凸関数の差で表せる非凸関数）に限定した場合は、DCAと呼ばれる枠組みの方法が知られている。そこで我々が提案したメモリーレス準ニュートン法に基づいた非厳密ニュートン型近接勾配法をDCAへ拡張する。
２．非線形最適化問題に対する数値解法として信頼領域逐次２次計画法が頑健であることが知られている。本研究では、Yamashita and Dan が開発した解法を改良して、最適性の２次の必要条件を満足するような点へ収束するアルゴリズムを開発していく。また、局所的解析として超１収束性などについても検討していく。
３．リーマン多様体上の最適化問題に対して我々が開発してきたメモリーレス準ニュートン法を適用することを考える。令和3年度に引き続き、その収束性について解析を行うとともに数値実験を通じて提案解法の効率性を確認して論文としてまとめる予定である。
４．機械学習などで生じる問題は、上述したような最小化問題だけではなく、制約条件の付いた非平滑な関数を含む方程式系に帰着されることも多い。そこで、そのような問題に対して共役勾配法やメモリーレス準ニュートン法の適用を試みる。
|
| Causes of Carryover |
コロナ禍のため国内外の学会出張が出来なかったので、次年度使用額が生じた。令和4年度は、可能ならば学会出張費として使用するとともに、専門書（洋書）を購入していきたい。
|
