2022 Fiscal Year Annual Research Report
階層構造を持つ確率的凸最適化アルゴリズムの開発と大規模機械学習問題への応用
Project/Area Number |
19H04134
|
Research Institution | Tokyo Institute of Technology |
Principal Investigator |
山田 功 東京工業大学, 工学院, 教授 (50230446)
|
Co-Investigator(Kenkyū-buntansha) |
湯川 正裕 慶應義塾大学, 理工学部(矢上), 教授 (60462743)
|
Project Period (FY) |
2019-04-01 – 2024-03-31
|
Keywords | 一般化Moreau強化行列 / DC-type Regularizers / 適応Cayleyパラメータ表現法 |
Outline of Annual Research Achievements |
階層構造を持つ最適化アルゴリズムの応用価値を高めることを目的とし、以下の3課題に取り組んだ。(i) スパース性活用型逆問題の強力なフレームワーク「LiGMEモデル」に必要となる一般化Moreau 強化行列(GME行列)の代数的設計問題、(ii) LiGMEモデルの一般化問題、(iii) 正規直交制約付き平滑最適化のための適応Cayleyパラメータ表現法の提案とその収束解析。(i)に対しては、既存の代数的GME行列設計法[Abe, Yamagishi and Yamada 2020]の一般化を行い、1回のLDU分解と部分空間への直交射影計算で完結する効率的な代数的設計法の設計法を与えすことができた(2023年度電子情報通信学会論文賞の受賞が決定している)。(ii)に対しては、DC型非凸正則化モデルの一般形とその大域的最適化アルゴリズムを与え、その成果を信号処理分野のトップジャーナル(IEEE Trans Signal Processing)に発表している。(iii)に対しては、一般化左局所Cayley変換の特異点が大域的パラメータ空間の無限遠点として解釈可能であり,特異点問題緩和のために大域的パラメータ空間そのものを更新できる「適応Cayleyパラメータ表現法」を提案し、その有効性を実証することに成功している。その成果は、IEEE Access 誌上に発表している。その他、4年に一度開催される応用数学の国際会議[International Congress on Industrial and Applied Mathematics (ICIAM)]では3つのミニシンポジウム(MS)のオーガナイザーからお招きいただき、3件の招待講演を行った。また、IEEE ICASSP2023)ではDC型非凸正則化モデルに基づいたスパース適応フィルタリングのアルゴリズムを発表した。
|
Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
信号処理や機械学習に現れる最適化問題を取り巻く様々な状況変化にも貢献できるためには、これまで階層構造を持つ凸最適化問題の研究経験で獲得した知見を非凸最適化問題に応用することが重要であり、以下の3課題に取り組んだ。(i) スパース性活用型逆問題の強力なフレームワーク「LiGMEモデル」に必要となる一般化Moreau 強化行列(GME行列)の代数的設計問題、(ii) LiGMEモデルの一般化問題、(iii) 正規直交制約付き平滑最適化のための適応Cayleyパラメータ表現法の提案とその収束解析。その結果、(i)では、1回のLDU分解と部分空間への直交射影計算で完結する一般化Moreau強化行列の設計法を与え、従来の逐次近似型GME行列設計法[Liu and Chi 2022]に比べて圧倒的に低計算量で設計が完了可能であることを明らかにしている(2023年度電子情報通信学会論文賞の受賞が決定している)。(ii)に対しては、DC型非凸正則化モデルの一般形とその大域的最適化アルゴリズムを与えることに成功している(IEEE Trans Signal Processingに発表済)。(iii)に対しては、「適応Cayleyパラメータ表現法」を提案し、その有効性の実証に成功している(IEEE Access 誌上に発表済)。これらの成果は、今後、信号処理分野や機械学習分野をはじめとするデータサイエンスの領域で重要な礎となることが期待できる。
|
Strategy for Future Research Activity |
前年度までに得られた知見を活用し、以下の(i)~(iv)に沿った研究を推進する予定である。(i) cLiGMEモデルの一般化Moreau 強化を進化させるBivariate formulation に関する研究、(ii) Scaled GMCモデルの正則化経路を有限回の計算で算出可能とするLeast Angle Regression型解法に関する研究、(iii) 非凸制約付き非平滑最適化のための可変平滑化法とその応用に関する研究、(iv) 一般化Nash均衡集合上で定義される均衡問題に関する研究。
|