2021 Fiscal Year Research-status Report
| Project/Area Number |
20K14986
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
中山 舜民 中央大学, 理工学部, 助教 (90847196)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 非線形最適化 / 無制約最適化 / スパース最適化 / 近接勾配法 / 準ニュートン法 / DC最適化 |
|---|
| Outline of Annual Research Achievements |
機械学習などで扱われる非線形最適化問題に対する数値解法について以下の研究を行った。研究成果の一部は日本OR学会、研究集会、国際会議等で発表した。また、研究成果が学術論文誌に掲載された。
1．微分不可能な点を含むDC関数で表されるスパース最適化問題に対して、近接勾配法を適用することが可能である。その方法は停留点に収束することが知られているが、本研究では停留点よりも強い最適性条件として知られている方向停留点に近接勾配法が収束することを示した。また、刈り込みL1関数を用いたロバストなスパース回帰問題のモデルを提案し、この問題を解くための方法として近接勾配法を拡張したGPALMという方法を提案した。
2. 目的関数が微分可能な関数と微分不可な凸関数の和で表される最適化問題に対する方法として、ニュートン型近接勾配法が知られている。ニュートン型近接勾配法の欠点として重み付き近接写像と呼ばれる部分問題の計算効率の悪さが挙げられる。本研究では重み付き近接写像の重みとして、対称ランクワン公式を採用することで、Becker, Fadili and Ochs(2019)で提案されたアルゴリズムを適用することが可能になり、ニュートン型近接勾配法の欠点を克服した新しいニュートン型近接勾配法を提案した。
3. 今までは、凸関数の正則化付き最適化問題に対する非厳密ニュートン型近接勾配法の研究を行なってきた。本研究では、この手法を非凸な則化付き最適化問題に拡張した非厳密ニュートン型近接DCアルゴリズムを提案し、収束性の解析及び数値実験を通じた数値性能の評価を行った。
4. 今までユークリッド空間上の最適化問題に対するメモリーレス準ニュートン法の開発を行った。この方法をリーマン多様体上の最適化問題に拡張し、提案手法の収束性について解析した。
いずれの成果も機械学習に応用される問題の枠組みであるため、機械学習の領域に対する貢献が大きい。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
機械学習などで扱われる非線形最適化問題として、微分不可能な点を含む非凸な関数の最適化や、多様体上の最適化問題に対して、新しい数値解法の提案及びアルゴリズムの収束性について解析した。数値実験を実施することによって、提案手法の有効性、実用性についても検証した。
|
| Strategy for Future Research Activity |
機械学習で扱われるような非線形最適化問題を解くための数値解法について、さらに新しい観点から最適化法を提案していくとともに、数学的な立場から提案手法の収束性についても解析していく予定である。関連分野の研究動向などを把握するために国内外の研究集会・学会研究発表会・シンポジウムに積極的に参加して、他大学・他研究機関の研究者と交流し、研究打ち合わせを行って意見交換をしていく予定である。2022年度は以下のような研究計画を考えている。
1. 今年度提案した非厳密ニュートン型近接DCアルゴリズムの収束性解析を深掘りするとともに、アルゴリズムの改良を試みる。
2. 刈り込みL1関数を用いたロバストなスパース回帰モデルを扱ってきたが、今後は画像処理などの新たな応用例に対してロバストなスパースモデルの提案及び精度を検証する。
3. 引き続きリーマン多様体上の最適化問題に対する準ニュートン法の開発を行う。
|
| Causes of Carryover |
次年度使用額が生じた理由：新型コロナウィルスにより、参加予定であった国内学会および国際会議がオンライン開催となり、旅費の分だけ予定より出費が少なかった。
使用計画：学会参加等の旅費と参加費にあてる。また、研究に必要な書籍や計算機環境の増築などに使用する。
|
