2017 Fiscal Year Research-status Report
Developments of primal and dual sparse optimization models and their efficient solution methods
| Project/Area Number |
17K00032
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
山下 信雄 京都大学, 情報学研究科, 教授 (30293898)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | スパース最適化 / 双対問題 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，大規模な最適化問題に対して主問題と双対問題のそれぞれが疎な解(0が多い解)をもつ数理最適化モデルを構築し，そのモデルの特性を利用した効率のよい解法を開発，さらにそれらをビッグデータの解析などに応用することである．本年度の目的は，主双対スパースモデルの基礎的なモデルを構築し，その性質を数値実験によって明らかにすることであった．その目的に対して以下の成果を得た．
・双対スパースモデルであるサポートベクターマシン(SVM)およびサポートベクター回帰(SVR)に対して，L1正則化項を加えた主双対スパースモデルを提案した．さらに，非ゼロと推定した変数だけで構成された小規模な問題を繰り返す解くアルゴリズムを提案した．提案手法を用いた数値実験から，SVMに基づいたモデルでは，主変数，双対変数ともスパースな解が得られることがわかった．しかしながら，SVRに基づくモデルでは，パラメータの設定によっては，期待したスパースな解が得られなかった．
・主スパースモデルに対して，有効制約法を提案した．ここでの主スパースモデルは，制約条件に損失関数を含むものであり，基底追跡ノイズ除去とよばれる問題を含むモデルである．数値実験結果から，最適解がスパースな場合，既存手法よりも高速に高精度な解が求まることがわかった．
・ゲージ最適化の双対問題を提案し，その性質を解明した．ゲージ最適化問題とは，ゲージ関数と一次関数によって構成された最適化問題である．ゲージ関数はノルムを一般化した関数であり，機械学習の正則化などに用いられる．本研究では，極関数が陽に計算できるゲージ関数で構成されたゲージ最適化問題の双対問題は，その極関数を用いて陽に表せることを示した．さらに，双対問題の最適解から，元のゲージ最適化問題の最適解が導出できる十分条件を与えた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の研究目的は，主双対スパースモデルの基礎的なモデルを構築し，その性質を数値実験によって明らかにすることであった．その目的はおおむね達成された．しかしながら，その実験結果から，回帰問題における主双対スパースモデルでは，当初の予想よりもスパースな双対解が得られないことが判明した．この現象は提案モデルの基にしているサポートベクター回帰(双対スパースモデル)においてもみられる現象である．今後は，よりスパース性の高いモデルの考案を目指す．一方，次年度以降の研究課題としていたゲージ最適化問題の双対性の関しては，予定以上の成果が得られている．総合的に見ると研究はおおむね順調に進展している．
|
| Strategy for Future Research Activity |
次年度以降では，まず，基礎的な主双対モデルを一般化し，より汎用性の高いモデルを構築する．さらに，そのモデルの解法として，主変数と双対変数，両方を考慮した有効制約法を考案し，その理論的な性質を解明する．また，双対問題の基礎的研究として，ゲージ最適化を一般化した問題を考え，その双対性を調べる．さらに，機械学習，金融工学などの応用分野において，主双対スパースモデルの適用を検討する．
|
| Causes of Carryover |
当該年度では数値実験を担当する学生向けに高性能パソコンを購入することを予定していた．しかしながら，当該年度では高度な数値実験が必要とならず，また，次年度に入学する博士課程の学生がいたため，次年度に高性能パソコンを購入することとした．
繰り越した次年度使用額を用いて，年度初めに高性能パソコンを購入する．
|
