• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

一般的な非凸非平滑最適化のための効率的解法の開発と機械学習への応用

研究課題

研究課題/領域番号 19H04069
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分60020:数理情報学関連
研究機関東京大学

研究代表者

武田 朗子  東京大学, 大学院情報理工学系研究科, 教授 (80361799)

研究分担者 ロウレンソ ブルノ・フィゲラ  統計数理研究所, 数理・推論研究系, 准教授 (80778720)
Liu Tianxiang  国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (90835216)
Metel MichaelRos  国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (40839081)
研究期間 (年度) 2019-04-01 – 2023-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
14,820千円 (直接経費: 11,400千円、間接経費: 3,420千円)
2022年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2021年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2020年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2019年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
キーワード非凸非平滑最適化 / 機械学習 / DC最適化 / 最悪反復計算量 / 大域収束性 / 確率最適化 / 錐最適化問題 / ランダム行列理論 / 2段階最適化問題 / ホモトピー法 / ペナルティ法 / 確率的DCアルゴリズム / 低ランクスパース最適化
研究開始時の研究の概要

L_0ノルムやランク関数は非凸関数であり,そのような関数を目的関数や制約式に含むスパース最適化問題は,一般にはNP困難であることが知られている.最近,我々は,スパース最適化問題を含む広いクラスの問題に対して,勾配計算に基づく効率的な解法SDCAを提案した.非凸スパース最適化法の研究は始まったばかりで,実用化に向けて様々な課題が残されている.本研究では,SDCAの効率化,そして,最適解により近い解を求めるためのSDCAの改良を目指す.効率性と高い近似精度は相反する特徴であり,両方を兼ね揃えた解法の開発は簡単ではないものの,これまでの大域最適化における研究成果を生かして解法の開発を行なう.

研究成果の概要

スパース最適化問題は非凸非平滑最適化問題の代表例であり,非凸性と微分不可能性という2つの扱いにくさを持つ最適化問題である.本研究課題では,これまで開発してきたSDCA(Successive Difference-of-Convex Approximation method)にホモトピー法を組み合わせることで,「効率性」と「高い近似精度」の2つの特徴を兼ね揃えた解法を構築した.さらに計算効率の向上のため,パラメータの変更と停留点を求めるための反復解法の実行を同時に行うことにより,通常の非線形最適化法と遜色のない理論収束レートを持つ解法を構築できた.

研究成果の学術的意義や社会的意義

非凸非平滑最適化問題に対して, 効率性,高い近似精度の両方を兼ね揃えた解法の提案することを目標に掲げて研究を遂行した.解くべき問題を凸計画問題から元問題の非凸最適化問題へと変形しつつ最適解を求めていくという,ホモトピー法のアイディアを取り入れることで,両方の特徴を兼ね備えた解法の構築が可能になった.現実問題には非凸最適化問題として定式化される場合がしばしばあるが,既存の非凸最適化法を用いると,用いる初期解によって得られる解がかなり異なるため,応用上使いにくい場合も多い.本研究成果により,この非凸性による欠点がある程度解消されるため,十分に社会的意義もある成果と自己評価している.

報告書

(5件)
  • 2023 研究成果報告書 ( PDF )
  • 2022 実績報告書
  • 2021 実績報告書
  • 2020 実績報告書
  • 2019 実績報告書
  • 研究成果

    (47件)

すべて 2024 2023 2021 2020 2019 その他

すべて 国際共同研究 (8件) 雑誌論文 (25件) (うち国際共著 7件、 査読あり 24件、 オープンアクセス 9件) 学会発表 (11件) (うち国際学会 6件、 招待講演 5件) 備考 (3件)

  • [国際共同研究] The Hong Kong Polytechnic University(中国)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] Vrije Universiteit Brussel(ベルギー)

    • 関連する報告書
      2020 実績報告書
  • [国際共同研究] The Hong Kong Polytechnic University(中国)

    • 関連する報告書
      2020 実績報告書
  • [国際共同研究] 香港理工大学(中国)

    • 関連する報告書
      2019 実績報告書
  • [国際共同研究] サウザンプトン大学(英国)

    • 関連する報告書
      2019 実績報告書
  • [国際共同研究] シンガポール国立大学(シンガポール)

    • 関連する報告書
      2019 実績報告書
  • [国際共同研究] 梨花女子大学(韓国)

    • 関連する報告書
      2019 実績報告書
  • [国際共同研究] ブリュッセル自由大学(ベルギー)

    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] Stable Linear System Identification with Prior Knowledge by Riemannian Sequential Quadratic Optimization2024

    • 著者名/発表者名
      Mitsuaki Obara , Kazuhiro Sato , Hiroki Sakamoto , Takayuki Okuno , Akiko Takeda
    • 雑誌名

      IEEE Transactions on Automatic Control

      巻: 69 号: 3 ページ: 2060-2066

    • DOI

      10.1109/tac.2023.3318195

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Random projections of linear and semidefinite problems with linear inequalities2023

    • 著者名/発表者名
      Poirion Pierre-Louis、Lourenco Bruno F.、Takeda Akiko
    • 雑誌名

      Linear Algebra and its Applications

      巻: 664 ページ: 24-60

    • DOI

      10.1016/j.laa.2023.01.013

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] A study on modularity density maximization: Column generation acceleration and computational complexity analysis2023

    • 著者名/発表者名
      Issey Sukeda, Atsushi Miyauchi, and Akiko Takeda
    • 雑誌名

      European Journal of Operational Research

      巻: - 号: 2 ページ: 516-528

    • DOI

      10.1016/j.ejor.2023.01.061

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Complexity analysis of interior-point methods for second-order stationary points of nonlinear semidefinite optimization problems2023

    • 著者名/発表者名
      Shun Arahata , Takayuki Okuno , Akiko Takeda
    • 雑誌名

      Computational Optimization and Applications

      巻: 86 号: 2 ページ: 555-598

    • DOI

      10.1007/s10589-023-00501-3

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Doubly majorized algorithm for sparsity-inducing optimization problems with regularizer-compatible constraints2023

    • 著者名/発表者名
      Liu Tianxiang、Pong Ting Kei、Takeda Akiko
    • 雑誌名

      Computational Optimization and Applications

      巻: 86 号: 2 ページ: 521-553

    • DOI

      10.1007/s10589-023-00503-1

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Robust Gaussian Process Regression with the Trimmed Marginal Likelihood2023

    • 著者名/発表者名
      Daniel Andrade, Akiko Takeda
    • 雑誌名

      Proceedings of the Thirty-Ninth Conference on Uncertainty in Artificial Intelligence

      巻: PMLR 216 ページ: 67-76

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Primal-dual subgradient method for constrained convex optimization problems2021

    • 著者名/発表者名
      Michael R. Metel, Akiko Takeda
    • 雑誌名

      Optimization Letters

      巻: 15 号: 4 ページ: 1491-1504

    • DOI

      10.1007/s11590-021-01728-x

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization2021

    • 著者名/発表者名
      Metel Michael R.、Takeda Akiko
    • 雑誌名

      Journal of Machine Learning Research

      巻: 22(115) ページ: 1-36

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] On Lp-hyperparameter Learning via Bilevel Nonsmooth Optimization2021

    • 著者名/発表者名
      Okuno Takayuki, Takeda Akiko, Kawana Akihiro, Watanabe Motokazu
    • 雑誌名

      Journal of Machine Learning Research

      巻: 22(245) ページ: 1-347

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Projected Gradient Method for Opinion Optimization with Limited Changes of Susceptibility to Persuasion2021

    • 著者名/発表者名
      Naoki Marumo, Atsushi Miyauchi, Akiko Takeda, Akira Tanaka
    • 雑誌名

      CIKM

      巻: 30 ページ: 1274-1283

    • DOI

      10.1145/3459637.3482408

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] A Gradient Method for Multilevel Optimization2021

    • 著者名/発表者名
      Sato Ryo, Tanaka Mirai, Takeda Akiko
    • 雑誌名

      Advances in Neural Information Processing Systems

      巻: 34 ページ: 7522-7533

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Estimation of Gaussian Mixture Models via Tensor Moments with Application to Online Learning2020

    • 著者名/発表者名
      Donya Rahmani, Mahesan Niranjan, Damien Fay, Akiko Takeda, Jacek Brodzki
    • 雑誌名

      Pattern Recognition Letters

      巻: 131 ページ: 285-292

    • DOI

      10.1016/j.patrec.2020.01.001

    • 関連する報告書
      2020 実績報告書 2019 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Theory and Algorithms for Shapelet-Based Multiple-Instance Learning2020

    • 著者名/発表者名
      Suehiro Daiki、Hatano Kohei、Takimoto Eiji、Yamamoto Shuji、Bannai Kenichi、Takeda Akiko
    • 雑誌名

      Neural Computation

      巻: 32 号: 8 ページ: 1580-1613

    • DOI

      10.1162/neco_a_01297

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Controllability maximization of large-scale systems using projected gradient method2020

    • 著者名/発表者名
      Kazuhiro Sato, Akiko Takeda
    • 雑誌名

      IEEE Control Systems Letters

      巻: 4 ページ: 821-826

    • DOI

      10.1109/lcsys.2020.2993983

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Data-driven structured noise filtering via common dynamics estimation2020

    • 著者名/発表者名
      Ivan Markovsky, Tianxiang Liu, Akiko Takeda
    • 雑誌名

      IEEE Transactions on Signal Processing

      巻: 68 ページ: 3064-3073

    • DOI

      10.1109/tsp.2020.2993676

    • 関連する報告書
      2020 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] A hybrid penalty method for a class of optimization problems with multiple rank constraints2020

    • 著者名/発表者名
      Tianxiang Liu, Ivan Markovsky, Ting Kei Pong, Akiko Takeda
    • 雑誌名

      SIAM Journal on Matrix Analysis and Applications

      巻: 41 号: 3 ページ: 1260-1283

    • DOI

      10.1137/19m1269919

    • 関連する報告書
      2020 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Generalized Subdifferentials of Spectral Functions over Euclidean Jordan Algebras2020

    • 著者名/発表者名
      Lourenco Bruno F.、Takeda Akiko
    • 雑誌名

      SIAM Journal on Optimization

      巻: 30 号: 4 ページ: 3387-3414

    • DOI

      10.1137/19m1245001

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Convex fairness constrained model using causal effect estimators2020

    • 著者名/発表者名
      Hikaru Ogura, Akiko Takeda
    • 雑誌名

      WWW '20: Companion Proceedings of the Web Conference 2020

      巻: - ページ: 723-732

    • DOI

      10.1145/3366424.3383556

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Construction Methods of the Nearest Positive System2020

    • 著者名/発表者名
      Kazuhiro Sato, Akiko Takeda
    • 雑誌名

      IEEE Control Systems Letters

      巻: 4 号: 1 ページ: 97-102

    • DOI

      10.1109/lcsys.2019.2921838

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Robust Bayesian Model Selection for Variable Clustering with the Gaussian Graphical Model2020

    • 著者名/発表者名
      Daniel Andrade, Akiko Takeda, Kenji Fukumizu
    • 雑誌名

      Statistics and Computing

      巻: 30 号: 2 ページ: 351-376

    • DOI

      10.1007/s11222-019-09879-9

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A successive difference-of-convex approximation method for a class of nonconvex nonsmooth optimization problems2019

    • 著者名/発表者名
      Tianxiang Liu, Ting Kei Pong, Akiko Takeda
    • 雑誌名

      Mathematical Programming

      巻: 176 号: 1-2 ページ: 339-367

    • DOI

      10.1007/s10107-018-1327-8

    • 関連する報告書
      2019 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] A refined convergence analysis of pDCAe with applications to simultaneous sparse recovery and outlier detection2019

    • 著者名/発表者名
      Liu Tianxiang、Pong Ting Kei、Takeda Akiko
    • 雑誌名

      Computational Optimization and Applications

      巻: 73 号: 1 ページ: 69-100

    • DOI

      10.1007/s10589-019-00067-z

    • 関連する報告書
      2019 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Algorithm 996: BBCPOP: A Sparse Doubly Nonnegative Relaxation?of Polynomial Optimization Problems?with Binary, Box and Complementarity Constraints2019

    • 著者名/発表者名
      Naoki Ito, Sunyoung Kim, Masakazu Kojima, Akiko Takeda and Kim-Chuan Toh
    • 雑誌名

      ACM Transaction on Mathematical Software

      巻: 45 号: 3 ページ: 1-26

    • DOI

      10.1145/3309988

    • 関連する報告書
      2019 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization2019

    • 著者名/発表者名
      Michael Metel, Akiko Takeda
    • 雑誌名

      Proceedings of the 36th International Conference on Machine Learning

      巻: 97 ページ: 4537-4545

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Subspace methods for multi-channel sum-of-exponentials common dynamics estimation2019

    • 著者名/発表者名
      Ivan Markovsky, Tianxiang Liu, Akiko Takeda
    • 雑誌名

      2019 IEEE 58th Conference on Decision and Control (CDC)}, Nice, France, 2019, pp. 2672-2675.

      巻: - ページ: 2672-2675

    • 関連する報告書
      2019 実績報告書
  • [学会発表] Random subspace optimization methods for large-scale optimiztion problems2024

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      NUS Seminar, National University of Singapore (Singapore, Singapore)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Bi/trilevel Optimization Approach for Hyperparameter Selection2023

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      The SIAM Conference on Optimization (OP23), The Sheraton Grand Seattle (Seattle, Washington, U.S.)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Applying Random projection techniques to nonconvex optimization problems2023

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      Mini Workshop on Optimization, University of Southampton (Southampton, United Kimgdom)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Difference-of-Convex Approach for Nonconvex Nonsmooth Optimization Problems2021

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      5th ZIB-RIKEN-IMI-ISM MODAL Workshop on Optimization, Data Analysis and HPC in AI
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 不確実性下での最適化手法: ロバスト最適化法の紹介2020

    • 著者名/発表者名
      武田朗子
    • 学会等名
      第 41 回 IBISML 研究会
    • 関連する報告書
      2020 実績報告書
    • 招待講演
  • [学会発表] Deterministic and Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization2020

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      Variational Analysis and Optimisation Webinar series
    • 関連する報告書
      2020 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Group Lasso for Household Energy Consumption Prediction and Toward Nonconvex Regularizer2019

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      The PolyU AMA - RIKEN AIP Joint Workshop on Optimization and Machine Learning,
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] DC Formulations and Algorithms for Sparse Optimization Problems2019

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      the Sixth International Conference on Continuous Optimization (ICCOPT 2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Efficient DC algorithm for nonconvex sparse optimization problems2019

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      International Conference on Optimization: Techniques and Applications (NACA-ICOTA2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Efficient DC Algorithm for Nonconvex Nonsmooth Optimization Problems2019

    • 著者名/発表者名
      Akiko Takeda
    • 学会等名
      Faculty Seminar, Southwest Jiaotong University
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 世の中の「困った」を解決する数学:数理最適化法の紹介2019

    • 著者名/発表者名
      武田朗子
    • 学会等名
      RDC展 2019, 東芝研究開発センター
    • 関連する報告書
      2019 実績報告書
    • 招待講演
  • [備考] Publication List

    • URL

      https://www.or.mist.i.u-tokyo.ac.jp/takeda/publication-e.html

    • 関連する報告書
      2022 実績報告書
  • [備考] Homepage of Akiko Takeda

    • URL

      https://www.or.mist.i.u-tokyo.ac.jp/takeda/publication-e.html

    • 関連する報告書
      2020 実績報告書
  • [備考] Akiko Takeda's webpage

    • URL

      https://www.or.mist.i.u-tokyo.ac.jp/takeda/index-e.html

    • 関連する報告書
      2019 実績報告書

URL: 

公開日: 2019-04-18   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi