• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of nonlinear semidefinite optimization theory and application to machine learning

Research Project

Project/Area Number 20K19748
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 60020:Mathematical informatics-related
Research InstitutionSeikei University (2022-2023)
Institute of Physical and Chemical Research (2020-2021)

Principal Investigator

奥野 貴之  成蹊大学, 理工学部, 准教授 (70711969)

Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywords中心パス / ニュートン方程式の正則性 / パレート解集合上の最適化 / 2段階最適化法 / 2段階勾配法 / レーベンバーグ・マルカート法 / オラクル計算量 / 2次収束性 / リーマン多様体 / 正定錐上の最適化 / 非線形半正定値最適化問題 / 内点法 / 逐次2次最適化法 / 線形システム同定問題 / 非線形半正定値最適化 / 制約想定 / Monteiro-Tsuciya方向族 / 2次の停留点 / 非平滑最適化 / 機械学習 / ハイパーパラメータ学習
Outline of Research at the Start

本研究課題では, 与えられた行列値関数が半正定値対称行列となるような制約領域上で関数の最小化問題である非線形半正定値最適化問題(以下, NSDP)を取り扱う. とくに, これまでは取り扱いが難しかった機械学習などで出現する幅広い問題形式への対応を目指して, NSDPの理論とアルゴリズムを発展させていく. また, 機械学習で現れる実問題などを対象にした数値シミュレーションを行うことで, 提案したアルゴリズムや理論の有効性及びその実装方法について詳しく調査を行う.

Outline of Annual Research Achievements

2023年度では、大きくわけて2種類の研究を行った。
1つ目の研究は非線形半正定値最適化問題に対する主双対内点法の収束速度に関連する研究である。主双対内点法は中心パスとよばれる摂動されたKKT点から構成されるパスを近似的に辿る手法であり、内点法の収束性能は中心パスの性質に大きく左右される。前々年度における研究において、マンガサリアン・フロモヴィッツ制約想定, 狭義相補性, 2次の十分条件という既存よりも弱い条件下のもとで滑らかな中心パスが存在することを示した。主双対内点法では、中心パスを数値的に辿るために中心パスの近傍でニュートン方程式を構成し、ニュートン方程式の解をもとに次の反復点を決定する。その中で連立1次方程式であるニュートン方程式の係数行列の中心パス付近における振る舞いがKKT点への収束速度を決定づけることはよく知られた事実である。2023年度には、中心パスのある近傍でこの係数行列が正則であることを証明した。最終的な目標は上で述べた3条件下で主双対内点法の超1次収束性を証明することであるが、証明した事実はそれへの大きな一歩になっている。
2つ目の研究は、多目的最適化におけるパレート解集合上の最適化問題に関する研究である. 構造物の設計など多くの現場では, パレート最適解を列挙した後にその中より意思決定者の選好情報に基づいて最終的な解が決定されるが,この問題はパレート解集合上の最適化問題として定式化することができる.この問題を多目的最適化問題を下位問題として持つような 2 段階最適化問題と見なし, それを解くために勾配法を基にした新たなアルゴリズムの提案を行った. 将来的には半正定値制約がつけた問題にも対応できるアルゴリズムに発展させる計画である。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

非線形半正定値最適化問題に対する主双対内点法の中心パスの存在性とニュートン方程式の正則性に関する研究に関して、当初は海外での国際発表を行い、それを基にディスカッションを通して研究をさらに深化させて行く予定であった。ところが、covid19の影響と現所属大学における勤務予定と国際会議の予定があわず海外発表をすることができなかったため。

Strategy for Future Research Activity

2024年度は海外発表を行い海外研究者との議論を通して、目標である主双対内点法の超1次収束性の理論的証明の完成を目指す。そのためにはまずニュートン方程式の解の変動とバリアパラメータの0への収束速度の関係についてより深く解析していくつもりである。
次にパレート解集合上の最適化については、引き続き2段階最適化に基づいたアプローチをさらに推進してくつもりである。その中でまずは下位問題である多目的最適化問題に簡易的な制約条件を付加した状態でも対応できるようなアルゴリズムについて開発を行っていく計画でいる。

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (19 results)

All 2024 2023 2022 2021 2020

All Journal Article (9 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 9 results,  Open Access: 4 results) Presentation (10 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Local convergence of primal-dual interior point methods for nonlinear semi-definite optimization using the family of Monteiro-Tsuchiya directions2024

    • Author(s)
      Takayuki Okuno
    • Journal Title

      Computational Optimization and Applications

      Volume: 17 Issue: 2 Pages: 677-718

    • DOI

      10.1007/s10589-024-00562-y

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Stable Linear System Identification with Prior Knowledge by Riemannian Sequential Quadratic Optimization2024

    • Author(s)
      Mitsuaki Obara , Kazuhiro Sato , Hiroki Sakamoto , Takayuki Okuno , Akiko Takeda
    • Journal Title

      IEEE Transactions on Automatic Control

      Volume: 69 Issue: 3 Pages: 2060-2066

    • DOI

      10.1109/tac.2023.3318195

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Complexity analysis of interior-point methods for second-order stationary points of nonlinear semidefinite optimization problems2023

    • Author(s)
      Shun Arahata , Takayuki Okuno , Akiko Takeda
    • Journal Title

      Computational Optimization and Applications

      Volume: 86 Issue: 2 Pages: 555-598

    • DOI

      10.1007/s10589-023-00501-3

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] MIXED-INTEGER DC PROGRAMMING BASED ALGORITHMS FOR THE CIRCULAR PACKING PROBLEM2023

    • Author(s)
      Yoshiko Ikebe, Satoru Masuda, Takayuki Okuno
    • Journal Title

      Journal of the Operations Research Society of Japan

      Volume: 66 Pages: 153-175

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Primal-dual path following method for nonlinear semi-infinite programs with semi-definite constraints2023

    • Author(s)
      Takayuki Okuno, Masao Fukushima
    • Journal Title

      Mathematical Programming

      Volume: 199 Issue: 1-2 Pages: 251-303

    • DOI

      10.1007/s10107-022-01827-2

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Majorization-minimization-based Levenberg--Marquardt method for constrained nonlinear least squares2023

    • Author(s)
      Naoki Marumo, Takayuki Okuno, Akiko Takeda
    • Journal Title

      Computational Optimization and Applications

      Volume: 84 Issue: 3 Pages: 833-874

    • DOI

      10.1007/s10589-022-00447-y

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] A stabilized sequential quadratic semidefinite programming method for degenerate nonlinear semidefinite programs2022

    • Author(s)
      Yuya Yamakawa, Takayuki Okuno
    • Journal Title

      Computational Optimization and Applications

      Volume: 83 Issue: 3 Pages: 1027-1064

    • DOI

      10.1007/s10589-022-00402-x

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] A limiting analysis on regularization of singular SDP and its implication to infeasible interior-point algorithms2022

    • Author(s)
      Tsuchiya Takashi、Lourenco Bruno F.、Muramatsu Masakazu、Okuno Takayuki
    • Journal Title

      Mathematical Programming

      Volume: - Issue: 1 Pages: 531-568

    • DOI

      10.1007/s10107-022-01891-8

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Sequential Quadratic Optimization for Nonlinear Optimization Problems on Riemannian Manifolds2022

    • Author(s)
      Mitsuaki Obara, Takayuki Okuno, Akiko Takeda
    • Journal Title

      SIAM Journal on Optimization

      Volume: 32 Issue: 2 Pages: 822-853

    • DOI

      10.1137/20m1370173

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] Analysis of the primal-dual central path for nonlinear semidefinite optimization without the nondegeneracy condition2024

    • Author(s)
      奥野貴之
    • Organizer
      シンポジウム:錐線形計画とその周辺
    • Related Report
      2023 Research-status Report
  • [Presentation] パレートフロンティア上の最適化に対する2段階勾配法2024

    • Author(s)
      北爪裕美、奥野貴之
    • Organizer
      第20回応用数理学会研究部会連合発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] 加速勾配法に基づいた一般化レーベンバーグ・マーカート法の提案と計算量解析について2023

    • Author(s)
      丸茂直貴、奥野貴之、武田朗子
    • Organizer
      日本応用数理学会第19回研究部会連合発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] 退化した非線形半正定値最適化問題における中心パスの収束性について2022

    • Author(s)
      奥野貴之
    • Organizer
      日本応用数理学会2022年度年会
    • Related Report
      2022 Research-status Report
  • [Presentation] A Primal-Dual Interior Point Method for Nonlinear Semi-Definite Optimization Problems Using the Family of Monteiro-Tsuchiya Directions2021

    • Author(s)
      Takayuki Okuno
    • Organizer
      SIAM Conference on Optimization (OP21)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Local convergence of primal-dual interior point methods for nonlinear semi-definite optimization using the family of Monteiro-Tsuchiya directions2021

    • Author(s)
      Takayuki Okuno
    • Organizer
      The 22nd Conference of the International Federation of Operational Research Societies
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 奥野貴之2021

    • Author(s)
      非線形半正定値最適化問題に対するMT方向族を用いた主双対内点法の局所的収束性について
    • Organizer
      京都大学数理解析研究所 共同研究(公開型)「数理最適化の理論と応用の深化」
    • Related Report
      2021 Research-status Report
  • [Presentation] Riemannian sequential quadratic optimization method and its application to linear system2021

    • Author(s)
      小原光暁, 奥野貴之、武田朗子, 佐藤一宏
    • Organizer
      京都大学数理解析研究所 共同研究(公開型)「数理最適化の理論と応用の深化」
    • Related Report
      2021 Research-status Report
  • [Presentation] 非線形半正定値最適化問題に対する2次の最適性保証付き主双対内点法2020

    • Author(s)
      新幡駿, 奥野貴之, 武田朗子
    • Organizer
      日本オペレーションズ・リサーチ学会2021年春季研究発表会&シンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] 非線形半正定値計画問題に対する安定化逐次二次半正定値計画法の大域的収束性について2020

    • Author(s)
      山川雄也, 奥野貴之
    • Organizer
      京都大学数理解析研究所 共同研究(グループ型) 数理最適化の理論・アルゴリズム・応用
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi