| Project/Area Number |
20K14986
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 25010:Social systems engineering-related
|
|---|
| Research Institution | The University of Electro-Communications (2022)
Chuo University (2020-2021) |
|---|
Principal Investigator |
中山 舜民 電気通信大学, i－パワードエネルギー・システム研究センター, 助教 (90847196)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | 非線形最適化 / 近接勾配法 / ニュートン法 / 多様体 / 無制約最適化 / スパース最適化 / 準ニュートン法 / DC最適化 / 近接DCA / 機械学習 / 勾配法 |
|---|
| Outline of Research at the Start |
近年，機械学習の分野において様々な数理モデルが登場しており，その中で大規模かつ複雑な非線形最適化問題を解く必要性が増えてきた．その一方で，そのモデルが数学的にどのような性質を持つかかという議論や，その最適化問題を解く数値計算アルゴリズムが不十分である．機械学習におけるモデルを数学的に分析するとともに，大規模かつ複雑な非線形最適化問題に対する数値計算アルゴリズムの開発する．
|
| Outline of Annual Research Achievements |
目的関数が微分可能な関数と微分不可な関数の和で表される最適化問題に対するアルゴリズムとして、ニュートン型近接勾配法に注目した。ニュートン型近接勾配法において、重み付き近接写像と呼ばれる部分問題の計算効率の悪さが課題である。本研究では、比較的簡単に部分問題を解くことのできる、対称ランクワン公式を用いたニュートン型近接勾配法を開発し、アルゴリズム全体の計算効率改善に成功した。また提案手法の収束性解析を行い、数値実験を通じて有効性を示した。
上述のニュートン型近接勾配法とは異なるアプローチとして、ヘッセ行列の対角成分だけを取り出したニュートン型近接勾配法（近接対角ニュートン法）を開発した。既存のニュートン型近接勾配法とは異なり、対角行列を用いた重み付き近接写像は閉形式で計算ができるといった利点が挙げられる。提案手法の収束性を解析し、特定の条件下では提案手法が優れていることを示した。
昨年度の研究成果として刈り込みL1関数を用いたロバストなスパース回帰問題のモデルを提案している。このモデルを画像処理におけるイメージレジストレーションと呼ばれる画像の位置合わせ手法に応用した。この方法は画像の外れ値に影響されない頑健な手法であることが大きな特徴である。
現在まで取り組んできたユークリッド空間上の最適化問題に対するメモリーレス準ニュートン法をリーマン多様体上の最適化問題に拡張した。提案手法の収束性について解析し、数値実験を通じて提案手法の有効性を示した。
上下限制約付き最適化問題に対する有効制約ブロックBarzilai-Borwein（BB）法を提案した。応用上の問題では、問題の変数の属性ごとに独立した性質を持つことに注目した。通常の有効制約BB法はすべての変数に対してスケーリングを施すことに対して、提案手法では変数をブロック分割し、属性ごとに異なるスケーリングを施すことを試みた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
機械学習などで扱われる非線形最適化問題として、多様体上の最適化問題他、微分不可能な点を含む非凸な関数の最適化問題、上下限制約付き最適化問題に対する新しい数値解法を開発した。提案手法の理論的な収束解析や数値実験を通じた有効性、実用性についても検証した。
|
| Strategy for Future Research Activity |
機械学習で扱われるような非線形最適化問題を解くための数値解法について、新しい最適化手法を開発するともに、数学的な立場から提案手法の収束性についても解析していく予定である。関連分野の研究動向などを把握するために研究集会・学会研究発表会・シンポジウムに積極的に参加して、他大学・他研究機関の研究者と交流し、研究打ち合わせを行って意見交換をしていく予定である。2023年度は以下のような研究計画を考えている。
1. ニュートン型近接勾配法における部分問題の計算効率性の悪さを改善するアルゴリズムの開発を試みる。
2. 今年度に引き続き近接対角ニュートン法の開発・改良を行う。また、理論的な深掘りや数値実験を通じた提案手法の有効性を検証する。
3. 引き続き有効制約ブロックBarzilai-Borwein法の開発及び、応用問題に適用することを試みる。
|
Report
(3 results)
Research Products
(21 results)
