• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

一般的な非凸非平滑最適化のための効率的解法の開発と機械学習への応用

研究課題

研究課題/領域番号 19H04069
研究機関東京大学

研究代表者

武田 朗子  東京大学, 大学院情報理工学系研究科, 教授 (80361799)

研究分担者 Metel MichaelRos  国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (40839081)
ロウレンソ ブルノ・フィゲラ  統計数理研究所, 数理・推論研究系, 准教授 (80778720)
Liu Tianxiang  東京工業大学, 情報理工学院, 助教 (90835216)
研究期間 (年度) 2019-04-01 – 2023-03-31
キーワード非凸非平滑最適化 / ホモトピー法 / 確率的DCアルゴリズム
研究実績の概要

[SDCAの2次錐や半正定値錐上でのスパース最適化問題への適用と収束解析]
我々のSDCAに関する一連の研究は,単純な問題設定での近接DCAの提案から始まり,現在は非凸非平滑最適化問題を解くまでに拡張されている.昨年度より,さらなる適用範囲の拡張を目指して研究を行った.例えば,ユークリッドジョルダン代数を用いることで,2次錐や半正定値錐を含む問題に対し,効率的にSDCAを適用できると考えている.本年度は,提案解法を2次錐や半正定値錐を含む問題に適用した場合の,アルゴリズムSDCAの改良について検討を行った.
[より良い解をもとめるため,ホモトピー法の開発]
現在,非凸非平滑最適化問題のために提案されている解法はいずれも停留解を求めるための解法であり,アルゴリズムの初期解によって得られる停留解がかなり異なることが利用者より指摘されている.この問題を解決すべく,非凸最適化法とホモトピー法を組み合わせることを検討した.パラメータを1つ導入して,解くべき問題を凸計画問題から元問題へと変形しつつ最適解を求めていく手法を考案した.具体的には,この変形した最適化問題の解を次の最適化問題の初期解として最急降下法を適用していく解法である. その提案解法に対して,より良い停留点への収束スピード等の理論保証を検討した.
[確率的な勾配計算を取り入れた確率的SDCA法の提案] 機械学習分野では,大規模データを扱うために,勾配計算に基づく解法に対して勾配計算を確率的に行うことが一つのトレンドとなっている.確率的に勾配を計算すると,計算時間を短くできるという利点のみならず,そのランダムネスにより局所解から抜け出すという効果も期待できる.2つの凸関数の差で表されるDC最適化問題と呼ばれる非凸最適化問題に対して,確率的勾配法:SDCAを構築し,確率的な勾配計算による収束解析を行なった.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

今年度の目標として掲げていた目標に対して,すべて取り組むことができた.「SDCAの2次錐や半正定値錐上でのスパース最適化問題への適用」については,まだ手法の見直しなど取り組むべき様々な課題はあるものの,他の課題については,ほぼ解決策が思いついている状況である.よって,概ね順調に進展しているといえる.

今後の研究の推進方策

[SDCAの2次錐や半正定値錐上の最適化問題への適用と収束解析]
SDCAに関する一連の研究は,現在は非凸非平滑最適化問題を解くまでに拡張されている.今年度,ユークリッドジョルダン代数を用いた, 2次錐や半正定値錐を含む最適化問題のための効率的SDCA解法の開発について検討を始めた.一方で,本課題に取り組む上で先に解決しなければならない課題(非連続な関数に対する微分の定義,計算方法など)が生じ,今年度は先にその研究を行った.当初の研究目的を遂行する準備が整ったため,SDCAを2次錐や半正定値錐を含む問題に適用した場合の,大域的収束性や収束のスピードについて解析したい.
[大域最適解に近い解を求めるための,SDCAホモトピー法の開発]
これまで開発された,勾配情報を利用した非線形最適化法の多くは停留解を求めるための解法であり,SDCAも同様の解法である.今後は,計算効率の向上のため,パラメータの変更と停留点を求めるための反復解法の実行を同時に行うことを検討する.同時にパラメータの変更を行うと理論保証が難しくなるが,研究対象とする最適化問題を限定することで,提案解法に対して,導出される解の質を保証するような理論保証を与えたい.
[確率的な勾配・ヘシアン行列計算を取り入れた確率的SDCA法の提案]
機械学習分野では,大規模データを扱うために,勾配計算に基づく解法に対して勾配計算を確率的に行うことが常套手段となっている.今年度の研究成果により,SDCAの勾配計算に確率的な勾配を用いる効果を確認した.今後は,勾配計算のみならずヘシアン行列計算を確率的に行い,SDCA解法に利用することで,確率的な理論保証(平均的な停留点への収束と最悪反復回数の見積もり)のついた効率的な解法を構築したい.

  • 研究成果

    (12件)

すべて 2020 その他

すべて 国際共同研究 (2件) 雑誌論文 (7件) (うち国際共著 3件、 査読あり 7件、 オープンアクセス 1件) 学会発表 (2件) (うち国際学会 1件、 招待講演 2件) 備考 (1件)

  • [国際共同研究] Vrije Universiteit Brussel(ベルギー)

    • 国名
      ベルギー
    • 外国機関名
      Vrije Universiteit Brussel
  • [国際共同研究] The Hong Kong Polytechnic University(中国)

    • 国名
      中国
    • 外国機関名
      The Hong Kong Polytechnic University
  • [雑誌論文] Estimation of Gaussian mixture models via tensor moments with application to online learning2020

    • 著者名/発表者名
      Rahmani Donya、Niranjan Mahesan、Fay Damien、Takeda Akiko、Brodzki Jacek
    • 雑誌名

      Pattern Recognition Letters

      巻: 131 ページ: 285~292

    • DOI

      10.1016/j.patrec.2020.01.001

    • 査読あり / 国際共著
  • [雑誌論文] Theory and Algorithms for Shapelet-Based Multiple-Instance Learning2020

    • 著者名/発表者名
      Suehiro Daiki、Hatano Kohei、Takimoto Eiji、Yamamoto Shuji、Bannai Kenichi、Takeda Akiko
    • 雑誌名

      Neural Computation

      巻: 32 ページ: 1580~1613

    • DOI

      10.1162/neco_a_01297

    • 査読あり
  • [雑誌論文] Controllability maximization of large-scale systems using projected gradient method2020

    • 著者名/発表者名
      Sato Kazuhiro、Takeda Akiko
    • 雑誌名

      IEEE Control Systems Letters

      巻: 4 ページ: 821~826

    • DOI

      10.1109/LCSYS.2020.2993983

    • 査読あり / オープンアクセス
  • [雑誌論文] Data-Driven Structured Noise Filtering via Common Dynamics Estimation2020

    • 著者名/発表者名
      Markovsky Ivan、Liu Tianxiang、Takeda Akiko
    • 雑誌名

      IEEE Transactions on Signal Processing

      巻: 68 ページ: 3064~3073

    • DOI

      10.1109/TSP.2020.2993676

    • 査読あり / 国際共著
  • [雑誌論文] A Hybrid Penalty Method for a Class of Optimization Problems with Multiple Rank Constraints2020

    • 著者名/発表者名
      Liu Tianxiang、Markovsky Ivan、Pong Ting Kei、Takeda Akiko
    • 雑誌名

      SIAM Journal on Matrix Analysis and Applications

      巻: 41 ページ: 1260~1283

    • DOI

      10.1137/19M1269919

    • 査読あり / 国際共著
  • [雑誌論文] Generalized Subdifferentials of Spectral Functions over Euclidean Jordan Algebras2020

    • 著者名/発表者名
      Lourenco Bruno F.、Takeda Akiko
    • 雑誌名

      SIAM Journal on Optimization

      巻: 30 ページ: 3387~3414

    • DOI

      10.1137/19M1245001

    • 査読あり
  • [雑誌論文] Convex Fairness Constrained Model Using Causal Effect Estimators2020

    • 著者名/発表者名
      Ogura Hikaru、Takeda Akiko
    • 雑誌名

      WWW '20: Companion Proceedings of the Web Conference 2020

      巻: - ページ: 723~732

    • DOI

      10.1145/3366424.3383556

    • 査読あり
  • [学会発表] 不確実性下での最適化手法: ロバスト最適化法の紹介2020

    • 著者名/発表者名
      武田朗子
    • 学会等名
      第 41 回 IBISML 研究会
    • 招待講演
  • [学会発表] Deterministic and Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization2020

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      Variational Analysis and Optimisation Webinar series
    • 国際学会 / 招待講演
  • [備考] Homepage of Akiko Takeda

    • URL

      https://www.or.mist.i.u-tokyo.ac.jp/takeda/publication-e.html

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi