2015 Fiscal Year Research-status Report
大規模ロバスト最適化問題に対する効率的解法と機械学習への応用
| Project/Area Number |
15K00031
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
武田 朗子 東京大学, 情報理工学(系)研究科, 准教授 (80361799)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 加速近接勾配法 / 射影計算 / サポートベクターマシン / ロジスティック回帰 |
|---|
| Outline of Annual Research Achievements |
これまでの研究代表者による研究成果により，多くの判別モデルがロバスト最適化問題（min-max問題）を用いて記述できること，そして，それらの判別モデルの差異はmin-max問題の制約領域，つまり，不確実な要因の取りうる範囲（ここでは，与えられたデータセットから想定される，未知データの取りうる値の範囲）の記述方法に違いがあること，などが明らかにされている．平成２７年度は，特に，凸最適化問題に帰着される判別モデルに焦点を当て，次のことを行った．
●min-max問題をさらに変形し，「ある制約領域の下で凸二次目的関数を最小化する問題」として統一的に表した．
●多くの判別モデルは単純な制約領域を持つため，制約領域上への射影が高速に計算できることを明らかにし，統一的な解法として加速近接勾配法（APG）を適用した．
●４種の高速化テクニックを加えたAPG（高速化APG）に対して，最適解への収束スピードを理論的に示した．
●高速化APGは様々な既存モデルに適用可能という汎用性を持つ上，それぞれに対して提案されている固有の解法に比べても早いことを，数値実験を通して示した．
数値実験では，サポートベクターマシンやロジスティック回帰モデルに対して，提案手法と既存解法を比較し，速さで定評のあるLIBLINEAR（Fan, Chang, Hsieh, Wang and Lin, 2008）と比べても大規模データでの優位性を示すことができた．提案する高速化APGは，制約領域上への射影の計算方法を変えることで，様々な判別モデルを解くことができる．その汎用性に計算効率の良さが加わり，実際に手法を使う側にとって，非常に使い勝手のよい解法といえる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「本年度の研究実施計画」として申請時に挙げていた「機械学習問題に対するロバスト最適化法の応用」を達成することができ，おおむね順調に進展している．
様々な2値判別モデルを扱いやすい形で統一的に定式化し，その定式化に対して汎用的かつ高速な解法を提案した．提案する解法は，Beck & Teboulle [2009]の加速近接勾配法をもとに様々な高速化の工夫を取り入れている．取り入れた工夫の中には，これまで理論的な収束性が知られていなかったものも含まれているが，本研究において，それらを組み合わせた提案手法に対し大域的収束性及び収束レートを示すことができた．理論的な成果が得られることは計画当初には予想しておらず，計画以上の成果が得られたと言える．
一方で，min-max問題を変形せず，そのままの形に対して効率的な解法を構築することを目標としていたが，なかなかうまい解法を構築できず，その方向での研究を断念して，min-max問題をさらに変形し「ある制約領域の下で凸二次目的関数を最小化する問題」として表し，その問題に対して効率的な解法の構築を行った．
これらを総合すると，おおむね順調に進展していると言える．
|
| Strategy for Future Research Activity |
上述したように，研究計画当初は，min-max問題に対して効率的な解法を構築することを目標としていたが，なかなかうまい解法を構築できず，その方向での研究を断念して，min-max問題をさらに変形し「ある制約領域の下で凸二次目的関数を最小化する問題」として表し，その問題に対して効率的な解法の構築を行った．
機械学習問題への適用に際して，min-max問題を解くことを回避したものの，min-max問題の高速解法は多期間ロバスト最適化問題の解法へと繋がる，とても重要な研究課題である．多期間ロバスト最適化問題は，期の長さ(T)だけmin-maxが繰り返される非常に難しい問題に定式化される．今まで様々な実際問題に携わり，多期間ロバスト最適化問題が様々な応用を持つことは分かっており，この問題の高速解法の開発が非常に重要だと考えている．
今後は，再度，min-max問題に対して効率的な解法を構築することを目標として研究を行い，多期間ロバスト最適化問題に対する高速解法を構築することを目指したい．そして，実際問題の解決に役立てたい．
さらに，今年度に構築した解法を他の機械学習問題に対して適用していきたい．データに含まれる観測誤差が最適解に与える影響を考慮するため，ロバスト最適化法を用いてデータの変動にロバストな解を求めることは，非常に自然な流れと思われる．しかしながら，機械学習分野ではロバスト最適化法についてあまり知られておらず，Xu-Caramanis-Mannor [2009]と我々の研究成果以外には，機械学習系の主要な論文雑誌にロバスト最適化法を用いた研究報告がなされていない．本研究で構築した手法を大規模機械学習モデルに適用するとともに，今後，多値判別，クラスタリングといった他の機械学習問題に対して適用していきたい．
|
| Causes of Carryover |
学内で想定以上の資金が調達できたため，結果的に，本資金による支出が少なくなった．
|
| Expenditure Plan for Carryover Budget |
本年度に様々な研究成果が得られたため，今後，研究発表のために出張費用や学会参加費などが必要になると思われる．また，機械学習分野では，他研究者の扱うデータセットサイズが従来よりも格段に大きくなり，より性能のよい計算機が必要になる．また，大規模な数値実験をサポートしてくれる研究員も必要となる．本年度の資金の残金は，今後，そういった研究環境を整えていくのに充てたい．
|
