2020 Fiscal Year Research-status Report
Study on algorithms of numerical methods for large scale nonlinear optimization problems and their implementation
| Project/Area Number |
20K11698
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
矢部 博 東京理科大学, 理学部第一部応用数学科, 教授 (90158056)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
成島 康史 慶應義塾大学, 理工学部(矢上), 准教授 (70453842)
中山 舜民 中央大学, 理工学部, 助教 (90847196)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 非線形最適化 / 無制約最小化問題 / 制約条件付き最小化問題 / 非線形半正定値計画問題 / 準ニュートン法 / 近接勾配法 / 主双対内点法 |
|---|
| Outline of Annual Research Achievements |
非線形最適化問題に対する数値解法について以下の通り研究した。研究成果の一部は日本OR学会、研究集会（京都大学数理解析研究所、統計数理研究所）、国際会議等で発表した。また、研究成果が学術論文誌等に掲載された。
１．機械学習などで扱われる目的関数は微分可能な凸関数と微分不可な凸関数（主として正則化項）の和で表されることが多い。本研究では、微分可能な項が非凸関数の場合まで拡張し、近接点を求めるための部分問題を非厳密に解くとともにBroyden公式族に基づいたメモリーレス準ニュートン法を活用した非厳密Newton型近接勾配法を提案し、その大域的収束性を示した。さらに、部分問題を効率よく解くための数値計算法についての研究も開始した。
２．機械学習や統計学では刈り込みL1ノルムを用いたスパース回帰問題など、非平滑かつ非凸関数な正則化付き最小化問題がよく現れる。この問題に対して、停留点よりも強い最適性条件として知られている方向停留点に近接勾配法が収束することを数学的に示した。正則化がDC関数の場合、近接勾配法とは別のアプローチである近接DCAと近接勾配法の数値的な比較を行い、方向停留点に収束する近接勾配法が近接DCAより目的関数値の小さい解に収束することを示した。さらに、新しいスパース回帰モデルも提案した。
３．近年、非線形半正定値計画問題を解くための数値解法の研究が注目されている。本研究では、主双対メリット関数を用いた場合の主双対信頼領域内点法を提案して、その大域的収束性を示した。
４．リーマン多様体上の最適化問題に対するBroyden 公式族に基づいた準ニュートン法の大域的収束性について研究した。Broyden 公式族の凸クラスに関するHuang, Gallivan and Absilらの先行研究に倣って、preconvex クラスの場合について収束性を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
非線形最適化問題に対して新しい数値解法を提案し、その収束性についてきちんと解析するとともに、代表的なテスト問題に対する数値実験を実施することによって、提案手法の有効性、実用性についても検証している。
|
| Strategy for Future Research Activity |
無制約最適化問題および制約条件付き最適化問題を解くための数値解法について、さらに新しい観点から最適化法を提案していくとともに、数学的な立場から提案手法の収束性についても解析していく予定である。また、機械学習などの応用分野も視野に入れて、関連分野の研究動向などを把握するために国内外の研究集会・学会研究発表会・シンポジウムに積極的に参加して、他大学・他研究機関の研究者と交流し、研究打ち合わせを行って意見交換をしていく予定である。2021年度は以下のような研究計画を考えている。
１．機械学習などの分野への応用を考慮して我々が提案したメモリーレス準ニュートン法に基づいた非厳密ニュートン型近接勾配法は、微分可能な関数と非平滑な凸関数の和を最小にするアルゴリズムである。一方、実用上の問題として、非凸関数の最小化の方がよりスパースな解を得られることが知られている。特に非平滑なDC関数（凸関数と凸関数の差で表せる非凸関数）に限定した場合は、DCAと呼ばれる枠組みの方法が知られている。そこで、我々が提案したメモリーレス準ニュートン法に基づいた非厳密ニュートン型近接勾配法をDCAに拡張する。
２．非線形最適化問題や非線形半正定値計画問題に対する主双対信頼領域内点法においてKKT点への大域的収束性について研究してきたが、今後は最適性の２次の必要条件を満足するような点への収束性についても検討していく。また、局所的解析として、非線形半正定値計画問題に対する主双対信頼領域内点法の超１次収束性などについても検討していく。
３．リーマン多様体上の最適化問題に対する準ニュートン法の発展研究として、我々が開発してきたメモリーレス準ニュートン法を適用することを考える。そしてその収束性について解析していく予定である。このことによって計算量が大幅に削減されることが期待される。
|
| Causes of Carryover |
（理由）次年度に専門書（洋書）を購入するため
（使用計画）専門書（洋書）購入予定
|
