2021 Fiscal Year Annual Research Report
階層構造を持つ確率的凸最適化アルゴリズムの開発と大規模機械学習問題への応用
| Project/Area Number |
19H04134
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
山田 功 東京工業大学, 工学院, 教授 (50230446)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
湯川 正裕 慶應義塾大学, 理工学部(矢上), 教授 (60462743)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | CONSTRAINED LIGME MODEL / DC-type Regularizers / 一般化 Cayley パラメトリゼーション法 |
|---|
| Outline of Annual Research Achievements |
階層構造を持つ凸最適化アルゴリズムを機械学習・信号処理に応用するための基盤構築に取り組み、その成果を凸最適化理論の世界的権威(Bauschke等)が企画編集したモノグラフ収録の査読付き招待論文(77頁)の形で世界発信することができた。この論文では「非拡大写像の不動点集合上の凸最適化法(ハイブリッド最急降下法)」と「単調作用素の近接分解法」の融合による新解法とその応用法を提案しており、応用事例として1995年以来の未解決問題「誤識別サンプル数を最小にする線形識別器の中から最大マージンを達成する特別な線形識別器を選択する問題」に対する近似解法を与えている(arXive版では多クラス識別に拡張している)。これらは何れも第1層の最適化問題の解全体からなる無限集合を計算可能な非拡大写像の不動点集合として表現する工夫がもたらした成果であるが、「高い応用価値を秘めた無限集合」に斬新な表現法を与え、活用することによって「非自明な構造を持つ最適化問題」の強力な解法を実現した特別な例となっている。当該年度は、本プロジェクトの狙いを広げ、実り多きものにするために、「無限集合の効果的表現法の開発と応用」に関する様々な可能性を検討し、以下の(i)～(iii)の成果を得ている。
(i) スパース性利用逆問題のための凸制約付き非凸正則化最小２乗推定モデル「cLiGMEモデル」を提案するとともに、その解集合を非拡大写像の不動点集合で表現し、最適解への収束保証付きアルゴリズムを与えた。(ii) LiGMEモデルをDC最適化問題の観点から再解釈し、拡張されたDC型推定モデルを提案し、信号処理への応用例を示した。(iii) Stiefel 多様体の稠密集合を線形表現可能とする一般化Cayleyパラメトリゼーション法の基本性質解明と最適化アルゴリズムの開発。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
[Yamada-Yamagishi2019]で提案した「階層構造を持つ凸最適化問題」の解法は、第1層のコスト関数が複数のProx friendlyな凸関数の和で表現できることを前提としており、この前提のおかげで、第１層の最適解全体の集合は計算可能な非拡大写像の不動点集合で表現することができ、さらには「階層構造を持つ凸最適化問題」を不動点集合上の凸最適化問題に帰着できる事実を活用していた。上記前提は機械学習の領域に現れる典型的コスト関数が、データ整合性評価用凸関数とスパース性促進用凸正則化項(例：l_1ノルム)の加重和で表現される事実に沿うものであったが、最近はスパース性促進用正則化に非凸正則化項が利用されることも多くなり、[Yamada-Yamagishi2019]の前提条件は必ずしも実情に沿うものでなくなっている。このような状況変化は当初計画で予期できなかったものであるが、本プロジェクトでは既にLiGME正則化モデルやcLiGMEモデルに最適解全体集合の不動点表現を与えることに成功しており、また、LiGMEモデルを一般化した「拡張されたDC型推定モデル」にも最適化アルゴリズムを与え、複数の信号処理問題に応用している。さらには「無限集合の効果的表現法の開発と応用」の一環で、Stiefel 多様体の稠密集合を線形表現可能とする一般化Cayleyパラメトリゼーション法の基本性質解明と最適化アルゴリズムの開発を行っており、信号処理や機械学習に現れる最適化問題を取り巻く様々な状況変化にも後れをとることなく成果を上げている。
|
| Strategy for Future Research Activity |
以下の(i)～(iii)に沿った研究を推進する。
(i) スパース性利用逆問題のための凸制約付き非凸正則化最小２乗推定モデル「cLiGMEモデル」に確率的最適化の考え方を導入し、大規模モデルへの対処法の検討を進める。(ii) LiGMEモデルの一般化モデルとして検討を進めている一般化DC型推定モデルのアルゴリズムムを提案し、信号処理への応用で有効性を示す。(iii) Stiefel 多様体の一般化Cayleyパラメトリゼーション法の特異点が及ぼす影響を解明するとともに、その影響を緩和する工夫として動的パラメトリゼーション法を提案し、最適化アルゴリズムの開発に結び付ける。
|
