2020 Fiscal Year Annual Research Report
階層構造を持つ確率的凸最適化アルゴリズムの開発と大規模機械学習問題への応用
| Project/Area Number |
19H04134
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
山田 功 東京工業大学, 工学院, 教授 (50230446)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
湯川 正裕 慶應義塾大学, 理工学部(矢上), 准教授 (60462743)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 階層構造を持つ最適化 / 確率的凸最適化 / 大規模機械学習 / 一般化モロー型非凸正則化モデル |
|---|
| Outline of Annual Research Achievements |
階層構造を持つ凸最適化アルゴリズムを機械学習に効果的に応用するための基盤構築に取り組み、その成果を凸最適化理論の世界的権威(Bauschke等)が企画編集した研究書収録の査読付き招待論文(77頁)の形で世界に発信することができた。この論文には「非拡大写像の不動点集合上の凸最適化法(ハイブリッド最急降下法)」と「単調作用素の近接分解法」の融合による「階層構造を持つ凸最適化問題の解法」とその応用法を示したものであり、1995年以来の未解決問題「誤識別サンプル数を最小にする線形識別器の中から最大マージンを達成する特別な線形識別器を選択する問題」に対する実用的近似解法を与えることに成功している。なお、この方針を多クラス識別問題に拡張することにも成功しており、経験ヒンジ損失最小を達成する全ての多クラス線形識別器の中で、全てのクラス間マージンを一様最大化する線形識別器実現問題を世界ではじめて定式化し、その解法を実現している。その他にも以下の研究事例を代表とする多くの新展開を得ている。(i)「非負値成分制約を満たす超複素行列」の解集合を計算可能な非拡大写像の不動点集合によって表現できることを明らかにしている。(ii) スパースな情報表現が求められる逆問題の切り札として注目されている一般化モローエンベロープ型関数を構成要素とする「一般化モロー型非凸正則化モデルの汎用形(LiGMEモデルと制約条件付きLiGMEモデル)」を世界に先駆けて提案し、その解集合を計算可能な非拡大写像の不動点集合によって表現し、大域的最適解への収束保証付きアルゴリズムを実現することに成功している。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
理由
本研究プロジェクトは世界でも類のない研究課題に取り組む極めて挑戦的な研究であり、また、多くの領域に潜む未解決問題との関連性が顕在化し、予期せぬ発展に繋がる可能性を秘めているため、多くの数理的課題を１つずつ確実に解決していく必要がある。2020年度には本プロジェクトの重要な数理的基盤の一翼となる基本的アイディアの実現法と応用の有効性を示すことができた。
|
| Strategy for Future Research Activity |
確率的最適化のアイディアを「階層構造を持つ凸最適化」に導入するのに必要となる基盤数理構築のための調査研究を進める予定である。まずは、機械学習分野で検討が進められてきた単層型凸最適化のための数理の中から関連の可能性のあるアイディアを精査し、発展させていく方針から着手していきたい。多くの構想を温めているが、まずは、「一般化モロー型非凸正則化モデルの汎用形(LiGMEモデルと制約条件付きLiGMEモデル)」の最適解がピカール型不動点近似アルゴリズムで逐次近似できることに注目し、これをAnderson加速することを検討する予定である。
|
