2022 Fiscal Year Research-status Report
Study on algorithms of numerical methods for large scale nonlinear optimization problems and their implementation
| Project/Area Number |
20K11698
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
矢部 博 東京理科大学, データサイエンスセンター, 教授 (90158056)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
成島 康史 慶應義塾大学, 理工学部(矢上), 准教授 (70453842)
中山 舜民 電気通信大学, i－パワードエネルギー・システム研究センター, 助教 (90847196)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 非線形最適化 / 無制約最小化問題 / 制約条件付き最小化問題 / ２次の最適性条件 / 準ニュートン法 / 近接勾配法 / 主双対内点法 |
|---|
| Outline of Annual Research Achievements |
非線形最適化問題に対する数値解法について以下の通り研究した。研究成果の一部は日本OR学会、応用数理学会、研究集会（統計数理研究所）等で発表した。また、研究成果が学術論文誌等に掲載された。
（１）制約条件付き最適化問題に対して、ラグランジュ関数の射影ヘッセ行列の負の曲率方向を利用することによって最適性の２次必要条件を満たす点への収束性を保証する信頼領域逐次２次計画法を提案した。 （２）滑らかな関数と微分不可能な関数の和で表現されるような目的関数を持つ最適化問題に対する準ニュートン型近接勾配法を取り扱った。近似行列として正定値性を保持するようなSR1更新公式を用いることで部分問題を容易に解くことが可能になるので、それを取り入れたアルゴリズムを提案した。さらに同様の最適化問題に対して、対角行列を重みとした近接写像が閉形式で計算ができることに注目して、ヘッセ行列の対角成分だけを取り入れたニュートン型近接勾配法（近接対角ニュートン法）を提案し実用化を図った。 （３）L1型正則化項を持つ無制約最適化問題に対するニュートン型近接勾配法を考え、部分問題の目的関数の上界近似を用いることで部分問題の近似解を閉形式で表現できるような手法を提案し、それを組み込んだアルゴリズムを開発した。 （４）各目的関数が滑らかな関数とD.C.関数の和で表されるような多目的最適化問題に対する準ニュートン型近接勾配法を提案し、直線探索を組み込んだアルゴリズムを開発した。さらに、提案アルゴリズムの大域的な収束性を証明するとともに、数値実験によってその有効性を検証した。 （５）応用上、変数の属性ごとに独立した性質を持つ上下限制約付き最適化問題がしばしば現れるような問題に対して、変数をブロックで分け、属性ごとに異なるスケーリングを施す有効制約ブロックBarzilai-Borwein法を提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
非線形最適化問題に対して新しい数値解法を提案し、その収束性についてきちんと解析するとともに、代表的なテスト問題に対する数値実験を実施することによって、提案手法の有効性、実用性についても検証している。
|
| Strategy for Future Research Activity |
最適化問題に対する数値解法について、さらに新しい観点から最適化法を提案するとともに、提案手法の収束性について解析していく。また、機械学習等の応用分野も視野に入れて、関連分野の研究動向を把握するために国内外の学会等に参加して、他大学・他研究機関の研究者と研究交流を行う。具体的な計画は以下の通りである。
１．非線形最適化問題に対する数値解法として信頼領域逐次２次計画法が頑健であることが知られている。本研究では、Yamashita and Dan が開発した解法を改良して、最適性の２次の必要条件を満足するような点へ収束するアルゴリズムを開発していく。また、局所的解析として超１次収束性などについても検討していく。さらに、制約想定を仮定しない場合のAKKT点への収束性についても議論する。
２．機械学習などの分野への応用を考慮して我々が提案したメモリーレス準ニュートン法に基づいた非厳密ニュートン型近接勾配法は、微分可能な関数と非平滑な凸関数の和を最小にするアルゴリズムである。一方、実用上の問題として、非平滑な項が非凸関数であるような最小化の方がよりスパースな解が得られることが知られている。特に非平滑なDC関数（凸関数と凸関数の差で表せる非凸関数）に限定した場合は、DCAと呼ばれる枠組みの方法が知られている。そこで我々が提案したメモリーレス準ニュートン法に基づいた非厳密ニュートン型近接勾配法をDCAへ拡張する。
３．機械学習などで生じる問題は、上述したような最小化問題だけではなく、制約条件の付いた非平滑な関数を含む方程式系に帰着されることも多い。そこで、そのような問題に対して共役勾配法やメモリーレス準ニュートン法の適用を試みる。
|
| Causes of Carryover |
コロナ禍のため国内外の学会出張が出来なかったので、次年度使用額が生じた。次年度は、学会出張費として使用するとともに、専門書（洋書）を購入していきたい。
|
