• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実施状況報告書

大規模な非凸最適化問題に対する効率の良いアルゴリズムの開発と機械学習等への応用

研究課題

研究課題/領域番号 19K15247
研究機関統計数理研究所

研究代表者

田中 未来  統計数理研究所, 数理・推論研究系, 助教 (40737053)

研究期間 (年度) 2019-04-01 – 2023-03-31
キーワード最適化
研究実績の概要

(1) 錐最適化問題は線形最適化問題の拡張の 1 つであり, オペレーションズ・リサーチや機械学習などで用いられる. 本研究では, 線形最適化問題に対する解法の 1 つである LP-Newton 法を錐最適化問題に拡張し, 適応的 LP-Newton 法を提案し, その収束解析および実験的解析を行なった.
(2) ニューラルネットワークの学習問題は非凸最適化問題だが, 勾配法を用いて優れた解を計算することができる. このような深層ニューラルネットワークの学習が成功する理由を解明するために, 過剰パラメータ状況下でのニューラルネットワークの学習問題における停留点の性質を部分的に明らかにした.
(3) 非凸最適化のうち, 特に実用的によく用いられる DC 最適化について先行研究の精査を行ない, サーベイ論文を執筆した.
(4) スパース最適化アルゴリズムの研究を進め, アルゴリズム内部で用いられる近接写像の効率のよい計算をスパース制御問題に応用し, その収束解析および実験的解析を行なった.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初予定していた DC 最適化に関する理論的研究は遅れているものの, 当初は予期していなかった応用に関する研究を進めることができたため, 全体としては順調に進展しているといえる.

今後の研究の推進方策

(1) 多様体上の交互射影アルゴリズムについて研究を進め, 画像処理等への応用を目指す.
(2) 過剰パラメータ状況下でのニューラルネットワークの学習問題における停留点の性質を議論したが, 関数の滑らかさを仮定して行なった証明があるため, 非平滑最適化の理論を用いてこの仮定を取り除くことを目指す.
(3) スパース制御問題に対する効率のよいアルゴリズムを開発し, 性能のよさに関する理論的な保証を与える.

次年度使用額が生じた理由

予定していた出張が新型コロナウイルス感染症拡大のために延期となったため次年度使用額が生じた. 2020 年度以降の出張として使用する予定だが, 情勢次第では旅費ではなく物品費として使用する可能性がある.

  • 研究成果

    (6件)

すべて 2020 2019

すべて 雑誌論文 (3件) (うち国際共著 2件、 査読あり 3件、 オープンアクセス 2件) 学会発表 (3件) (うち国際学会 3件、 招待講演 1件)

  • [雑誌論文] Extension of the LP-Newton method to conic programming problems via semi-infinite representation2020

    • 著者名/発表者名
      Mirai Tanaka and Takayuki Okuno
    • 雑誌名

      Numerical Algorithms

      巻: 0 ページ: 1--18

    • DOI

      10.1007/s11075-020-00933-6

    • 査読あり / 国際共著
  • [雑誌論文] Semi-flat minima and saddle points by embedding neural networks to overparameterization2019

    • 著者名/発表者名
      Kenji Fukumizu, Shoichiro Yamaguchi, Yoh-ichi Mototake, and Mirai Tanaka
    • 雑誌名

      Advances in Neural Information Processing Systems

      巻: 32 ページ: 13845--13853

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] DC 最適化の理論と応用2019

    • 著者名/発表者名
      田中未来, 奥野貴之
    • 雑誌名

      応用数理

      巻: 29 ページ: 14--23

    • DOI

      10.11540/bjsiam.29.3_14

    • 査読あり / オープンアクセス
  • [学会発表] An adaptive LP-Newton method for conic optimization2019

    • 著者名/発表者名
      Mirai Tanaka
    • 学会等名
      Workshop on Advances in Continuous Optimization
    • 国際学会 / 招待講演
  • [学会発表] An adaptive LP-Newton method for second-order cone optimization2019

    • 著者名/発表者名
      Mirai Tanaka and Takayuki Okuno
    • 学会等名
      The Sixth International Conference on Continuous Optimization
    • 国際学会
  • [学会発表] Semi-flat minima and saddle points by embedding neural networks to overparameterization2019

    • 著者名/発表者名
      Kenji Fukumizu, Shoichiro Yamaguchi, Yoh-ichi Mototake, and Mirai Tanaka
    • 学会等名
      The Thirty-third Conference on Neural Information Processing Systems
    • 国際学会

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi