• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

大規模最適化問題に対する自動適応性を持つ一次法の確立

研究課題

研究課題/領域番号 21K17711
研究種目

若手研究

配分区分基金
審査区分 小区分60020:数理情報学関連
研究機関日本大学

研究代表者

伊藤 勝  日本大学, 理工学部, 助教 (90778375)

研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2024年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2021年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
キーワード非線形最適化問題 / 一次法 / 反復計算量 / 固有値最適化 / ペナルティ法 / ヘルダー条件 / 双曲型錐 / 自己同型群 / Frank-Wolfe 法 / 数理最適化 / 最適化アルゴリズム / エラーバウンド
研究開始時の研究の概要

機械学習やデータマイニングなどにおいて求解が求められる大規模な最適化問題に対して、一次法は有力なアルゴリズムとして着目され、現在活発に研究されている。一次法におけるパラメータの選択やアルゴリズム設計は一次法の収束率に影響を与えるが、問題のクラスが複雑で問題構造に関わるパラメータを事前に知らない場合では、効率的な一次法の設計が困難である。本研究では、Lojasiewicz不等式などのエラーバウンドに現れる、問題構造に関するパラメータに自動で適応して高速化する一次法の構築およびその解析手法の確立を目指す。

研究実績の概要

本年度の研究では、主たる研究対象である勾配法に関して、構造のある最適化問題に対する応用に取り組み、収束性や計算量に関する成果を得た。
まず第一に、一般の平滑凸関数の最小化問題に対して、勾配ノルムを停止条件に採用するとき、最適計算量を保証する適応的アルゴリズムを確立した。この成果は、強凸定数やリプシッツ定数といった問題構造に関わるパラメータが未知の場合に、最適な計算量を達成する一次法を与えており、これまで達成されていた準最適な計算量を改善することに成功した。
第二の成果として、固有値が制約条件に現れる非線形最適化問題に対して、効率的な射影勾配法の適用手法を構築した。この成果では、射影の計算を固有値ベクトルの空間に帰着することで、非凸な実行可能領域への射影が、凸集合への射影を通じて効率的に計算可能であるような非線形最適化問題のクラスを提案した。この成果により、これまでの固有値に関わる最適化問題がより多様な形で応用できることが期待される。
第三の成果として、非線形最適化問題における正確なペナルティ法について、実用性を考慮した近似停留点の計算手法の構築を行った。この成果では、ペナルティ法を用いる場合に、近似停留点を得るための正確なペナルティパラメータの下界を導き、近接勾配法を含むいくつかのアルゴリズムの計算量の上界を導出した。
これらの成果は国内会議や国際会議で発表した。次年度に国際学術論文誌での発表を目指す。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

第一の成果は、平滑凸関数を、未知パラメータを推定しながら最適化するアルゴリズムを確立している。このことは、本研究の主たる目標であった、問題構造を自動で捉えるアルゴリズムの確立を、平滑な凸最適化問題に対して達成したことを意味している。また、第二と第三の成果は、一次法の計算量解析を、固有値最適化やペナルティ法といった、さらに複雑な状況において適用する試みといえる。今後は、これらの問題に対してのさらなる自動適応手法の開発が期待される。以上のことから、本研究の進捗状況は研究計画に対して順調に進展している。

今後の研究の推進方策

凸最適化に対して得られた第一の成果をもとにして、より一般の問題構造に対する適用可能性を目指す。特に、解析に考慮したエラーバウンドを一般化した場合や、ある種の非凸最適化における適応的アルゴリズムを開発するための理論構築を試みる。また、固有値最適化といった特殊な問題構造をもつ最適化やペナルティ法における近似停留点の計算手法において、適応的アルゴリズムの開発に取り組んでいく。

報告書

(3件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (12件)

すべて 2024 2023 2022 2021

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 1件) 学会発表 (10件) (うち国際学会 4件、 招待講演 1件)

  • [雑誌論文] A Parameter-Free Conditional Gradient Method for Composite Minimization under Holder Condition2023

    • 著者名/発表者名
      Masaru Ito, Zhaosong Lu, and Chuan He
    • 雑誌名

      Journal of Machine Learning Research

      巻: 24 ページ: 1-34

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Automorphisms of Rank-One Generated Hyperbolicity Cones and Their Derivative Relaxations2023

    • 著者名/発表者名
      Ito Masaru、Lourenco Bruno F.
    • 雑誌名

      SIAM Journal on Applied Algebra and Geometry

      巻: 7 号: 1 ページ: 236-263

    • DOI

      10.1137/22m1513964

    • 関連する報告書
      2023 実施状況報告書 2022 実施状況報告書
    • 査読あり
  • [学会発表] 近似停留点に対するexact penaltyとペナルティ関数法の反復計算量解析2024

    • 著者名/発表者名
      柳下翔太郎, 伊藤勝
    • 学会等名
      日本応用数理学会第20回研究部会連合発表会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 近似停留点に対する exact penalty と exact penalty method の反復計算量解析2024

    • 著者名/発表者名
      柳下翔太郎, 伊藤勝
    • 学会等名
      日本オペレーションズ・リサーチ学会 2024年春季研究発表会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Adaptive gradient-based method for convex optimization problems under error bounds2023

    • 著者名/発表者名
      Masaru Ito
    • 学会等名
      10th International Congress on Industrial and Applied Mathematics (ICIAM2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Optimization problems with eigenvalue constraints2023

    • 著者名/発表者名
      Masaru Ito, Bruno F. Lourenco
    • 学会等名
      SIAM Conference on Optimization (OP23)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Automorphism Groups of the Derivative Relaxations of Rank One Generated Hyperbolicity Cones2022

    • 著者名/発表者名
      Masaru Ito and Bruno F. Lourenco
    • 学会等名
      The seventh International Conference on Continuous Optimization (ICCOPT/MOPTA 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 双曲錐と導分による緩和の自己同型群2022

    • 著者名/発表者名
      伊藤勝, ブルノ ロウレンソ
    • 学会等名
      日本応用数理学会2022年度年会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 最適化問題に対する一次法とその反復計算量の理論2022

    • 著者名/発表者名
      伊藤勝
    • 学会等名
      日本応用数理学会 第14回 三部会連携「応用数理セミナー」
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] Adaptive Step-Size Rule for Conditional Gradient Methods Minimizing Weakly Smooth Objective Functions2021

    • 著者名/発表者名
      Masaru Ito, Zhaosong Lu, Chuan He
    • 学会等名
      SIAM Conference on Optimization (OP21)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 弱平滑な最適化問題に対する Frank-Wolfe 法のステップ幅選択規則2021

    • 著者名/発表者名
      伊藤勝, Zhaosong Lu, Chuan He
    • 学会等名
      京都大学数理解析研究所共同研究「数理最適化の理論と応用の深化」
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Frank-Wolfe 法における適応的なステップ幅の選択2021

    • 著者名/発表者名
      伊藤勝, Zhaosong Lu, Chuan He
    • 学会等名
      日本オペレーションズ・リサーチ学会 2021 年春季研究発表会
    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi