• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Study on algorithms of numerical methods for large scale nonlinear optimization problems and their implementation

Research Project

Project/Area Number 20K11698
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 60020:Mathematical informatics-related
Research InstitutionTokyo University of Science

Principal Investigator

YABE HIROSHI  東京理科大学, データサイエンスセンター, 教授 (90158056)

Co-Investigator(Kenkyū-buntansha) 成島 康史  慶應義塾大学, 理工学部(矢上), 教授 (70453842)
中山 舜民  電気通信大学, i-パワードエネルギー・システム研究センター, 助教 (90847196)
Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywords非線形最適化 / 無制約最小化 / 制約条件付き最小化 / メモリーレス準ニュートン法 / 近接勾配法 / 非線形半正定値計画 / 信頼領域SQP法 / 多様体上の最適化 / 無制約最小化問題 / 制約条件付き最小化問題 / 2次の最適性条件 / 準ニュートン法 / 主双対内点法 / 非線形半正定値計画問題 / リーマン多様体最適化 / 無制約最適化 / 制約条件付き最適化 / 数値的最適化 / 機械学習への応用
Outline of Research at the Start

最適化問題を効率よく解くための数値解法の研究は近年ますます活発に行われている。本研究では、非線形最適化問題の数値計算アルゴリズムの研究に焦点をあてる。非線形最適化問題は、無制約最小化問題と制約付き最小化問題とに分けられる。本研究では、提案した数値計算アルゴリズムの収束性を証明して数学的な裏づけをするとともに、数値実験を通してその有効性・実用性を検証する。さらに、実社会で発生する具体的な最適化問題を解く際の実用化を目指して、提案する数値計算アルゴリズムのソフトウェア開発もしていく。したがって、本研究は社会的に大きな意義を持つ。

Outline of Final Research Achievements

We studied a proximal Newton-type method to solve the minimization of a composite function that is the sum of a smooth nonconvex function and a nonsmooth convex function. We proposed an inexact proximal memoryless quasi-Newton method based on the Broyden family and showed its global convergence. We considered the case where the nonsmooth function was given as a DC function. In addition, we dealt with the smooth function whose Hessian has a special structure. We also combined the active set strategy with the memoryless quasi-Newton method for solving bound constrained minimization problems. We considered memoryless quasi-Newton methods for optimization problems on Riemannian manifolds. We also proposed a primal-dual interior point trust-region method for nonlinear semidefinite programming problems, and a trust-region SQP method in which negative-curvature directions were used to obtain the global convergence to a second-order critical point for constrained optimization problems.

Academic Significance and Societal Importance of the Research Achievements

本研究では、大規模な最適化問題や機械学習などで扱われている特別な構造をもった最適化問題を解くためのメモリーレス準ニュートン法を提案しその大域的収束性を示すとともに、数値実験比較を行ってその有効性や実用性を検証した。こうした研究成果は、従来の応用分野ばかりではなくデータサイエンスや機械学習分野にも貢献できるものと思われる。また、非線形半正定値計画問題に対する主双対信頼領域内点法や制約付き非線形最適化問題に対する信頼領域逐次2次計画法の研究は、信頼領域法の頑健性を再認識することに繋がり、今後、頑健な数値解法の研究として発展していくことが期待される。以上のことから、本研究の学術的意義は大きい。

Report

(5 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (45 results)

All 2024 2023 2022 2021 2020

All Journal Article (16 results) (of which Peer Reviewed: 10 results,  Open Access: 3 results) Presentation (29 results) (of which Int'l Joint Research: 4 results,  Invited: 5 results)

  • [Journal Article] Memoryless Quasi-Newton Methods Based on the Spectral-Scaling Broyden Family for Riemannian Optimization2023

    • Author(s)
      Narushima Yasushi、Nakayama Shummin、Takemura Masashi、Yabe Hiroshi
    • Journal Title

      Journal of Optimization Theory and Applications

      Volume: - Issue: 2 Pages: 639-664

    • DOI

      10.1007/s10957-023-02183-7

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Inexact proximal DC Newton-type method for nonconvex composite functions2023

    • Author(s)
      Shummin Nakayama, Yasushi Narushima and Hiroshi Yabe
    • Journal Title

      Computational Optimization and Applications

      Volume: 87 Issue: 2 Pages: 611-640

    • DOI

      10.1007/s10589-023-00525-9

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A proximal quasi-Newton method based on memoryless modified symmetric rank-one formula2023

    • Author(s)
      Yasushi Narushima, Shummin Nakayama
    • Journal Title

      Journal of Industrial and Management Optimization

      Volume: 19 Issue: 6 Pages: 4095-4111

    • DOI

      10.3934/jimo.2022123

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Convergence to a second-order critical point by a trust-region SQP method with a nonmonotone merit function2023

    • Author(s)
      Hiroshi Yabe and Hiroshi Yamashita
    • Journal Title

      統計数理研究所共同研究リポート

      Volume: 461 Pages: 103-117

    • Related Report
      2022 Research-status Report
  • [Journal Article] 内部反復を改良したメモリーレスBFGS公式に基づく非厳密Newton型近接勾配法2022

    • Author(s)
      中山舜民、成島康史、矢部博
    • Journal Title

      統計数理研究所共同研究リポート 453「最適化:モデリングとアルゴリズム33」

      Volume: 453 Pages: 20-27

    • Related Report
      2021 Research-status Report
  • [Journal Article] リーマン多様体上の最適化問題に対するBroyden公式族に基づいた準ニュートン法2022

    • Author(s)
      竹村壮史、矢部博
    • Journal Title

      統計数理研究所共同研究リポート 453「最適化:モデリングとアルゴリズム33」

      Volume: 453 Pages: 46-64

    • Related Report
      2021 Research-status Report
  • [Journal Article] An active-set memoryless quasi-Newton method based on a spectral-scaling Broyden family for bound constrained optimization2021

    • Author(s)
      Shummin Nakayama、Yasushi Narushima、Hiroaki Nishio and Hiroshi Yabe
    • Journal Title

      Results in Control and Optimization

      Volume: 3 Pages: 100012-100012

    • DOI

      10.1016/j.rico.2021.100012

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Global convergence of a proximal memoryless symmetric rank one method for minimizing composite functions2021

    • Author(s)
      Shummin Nakayama and Yasushi Narushima
    • Journal Title

      Proceedings of the International Conference on Nonlinear Analysis and Convex Analysis & International Conference on Optimization: Techniques and Applications II

      Volume: 2 Pages: 99-108

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] A globally convergent active-set memoryless quasi-Newton method based on spectral-scaling Broyden family for bound constrained optimization2021

    • Author(s)
      Hiroaki Nishio, Shummin Nakayama, Yasushi Narushima and Hiroshi Yabe
    • Journal Title

      Proceedings of the International Conference on Nonlinear Analysis and Convex Analysis & International Conference on Optimization: Techniques and Applications II

      Volume: 2 Pages: 147-160

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] A smoothing and scaling Fletcher-Reeves type conjugate gradient method for systems of nonsmooth equations2021

    • Author(s)
      Yasushi Narushima and Hiroshi Yabe
    • Journal Title

      Pacific Journal of Optimization

      Volume: 17 Pages: 547-564

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] On the superiority of PGMs to PDCAs in nonsmooth nonconvex sparse regression2021

    • Author(s)
      Nakayama Shummin、Gotoh Jun-ya
    • Journal Title

      Optimization Letters

      Volume: - Issue: 8 Pages: 1-30

    • DOI

      10.1007/s11590-021-01716-1

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] 非線形半正定値計画問題に対する主双対内点法2021

    • Author(s)
      矢部博、山下浩、原田耕平
    • Journal Title

      オペレーションズ・リサーチ

      Volume: 66 Pages: 29-34

    • Related Report
      2021 Research-status Report
  • [Journal Article] Inexact proximal memoryless quasi-Newton methods based on the Broyden family for minimizing composite functions2021

    • Author(s)
      Nakayama Shummin、Narushima Yasushi、Yabe Hiroshi
    • Journal Title

      Computational Optimization and Applications

      Volume: 79 Issue: 1 Pages: 127-154

    • DOI

      10.1007/s10589-021-00264-9

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] A primal-dual interior point trust-region method for nonlinear semidefinite programming2021

    • Author(s)
      Yamashita Hiroshi、Yabe Hiroshi、Harada Kouhei
    • Journal Title

      Optimization Methods and Software

      Volume: 36 Issue: 2-3 Pages: 569-601

    • DOI

      10.1080/10556788.2020.1801678

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] 非線形半正定値計画問題に対する主双対内点法2020

    • Author(s)
      矢部博、山下浩、原田耕平
    • Journal Title

      第32回RAMP数理最適化シンポジウム論文集

      Volume: 32 Pages: 95-112

    • Related Report
      2020 Research-status Report
  • [Journal Article] 大規模無制約最適化問題に対する準ニュートン法と近接勾配法2020

    • Author(s)
      中山舜民
    • Journal Title

      オペレーションズ・リサーチ

      Volume: 65 Pages: 650-655

    • Related Report
      2020 Research-status Report
  • [Presentation] 二段階最適化問題に対する最適値関数を用いた内点法2024

    • Author(s)
      山本聖真、矢部博、成島康史
    • Organizer
      日本応用数理学会第20回研究部会連合発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 構造化 Broyden 公式族に基づいたニュートン型近接勾配法の局所的収束性2024

    • Author(s)
      中山舜民、成島康史、矢部博
    • Organizer
      日本応用数理学会第20回研究部会連合発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Proximal structured quasi-Newton method for nonlinear least squares with nonsmooth regularizer2023

    • Author(s)
      中山舜民、成島康史、矢部博
    • Organizer
      The 10th International Congress on Industrial and Applied Mathematics (ICIAM2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Nonmonotone proximal structured quasi-Newton methods based on the Broyden family2023

    • Author(s)
      成島康史、中山舜民、矢部博
    • Organizer
      The Third Pacific Optimization Conference
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 連続最適化とその周辺-雑感-2023

    • Author(s)
      矢部博
    • Organizer
      最適化の理論とアルゴリズム:未来を担う若手研究者の集い2023
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] 構造化 Broyden 公式族に基づいたニュートン型近接勾配法の大域的収束性2023

    • Author(s)
      矢部博、中山舜民、成島康史
    • Organizer
      共同研究(公開型)「数理最適化:理論と実践」、京都大学数理解析研究所
    • Related Report
      2023 Annual Research Report
  • [Presentation] 構造化 Broyden 公式族に基づいたニュートン型近接勾配法2023

    • Author(s)
      中山舜民、成島康史、矢部博
    • Organizer
      日本オペレーションズ・リサーチ学会
    • Related Report
      2023 Annual Research Report
  • [Presentation] L1 正則化項を持つ無制約最適化問題に対する上界近似を用いたニュートン型近接勾配法の大域的収束性について2023

    • Author(s)
      辺浩、成島康史
    • Organizer
      日本応用数理学会
    • Related Report
      2022 Research-status Report
  • [Presentation] 上下限制約付き最適化問題に対する有効制約ブロックBarzilai-Borwein 法2023

    • Author(s)
      中山舜民
    • Organizer
      日本オペレーションズ・リサーチ学会
    • Related Report
      2022 Research-status Report
  • [Presentation] ヘッセ行列の対角成分を用いた近接勾配法2023

    • Author(s)
      柳下翔太郎、中山舜民
    • Organizer
      日本オペレーションズ・リサーチ学会
    • Related Report
      2022 Research-status Report
  • [Presentation] 悪条件の問題に対する近接対角ニュートン法の提案とその優位性について2023

    • Author(s)
      柳下翔太郎、中山舜民
    • Organizer
      日本応用数理学会
    • Related Report
      2022 Research-status Report
  • [Presentation] 非線形最適化問題に対する2次の最適性を与える信頼領域逐次2次計画法2022

    • Author(s)
      矢部博、山下浩
    • Organizer
      日本応用数理学会
    • Related Report
      2022 Research-status Report
  • [Presentation] Global convergence of a Newton-type proximal gradient method for multi-objective optimization with composite D.C. functions2022

    • Author(s)
      成島康史、Antoine Vades、 辺浩
    • Organizer
      日本応用数理学会
    • Related Report
      2022 Research-status Report
  • [Presentation] L1 正則化項を持つ無制約最適化問題に対する上界近似を用いたニュートン型近接勾配法2022

    • Author(s)
      辺浩、成島康史
    • Organizer
      日本応用数理学会
    • Related Report
      2022 Research-status Report
  • [Presentation] リーマン多様体上の最適化問題に対するブロイデン公式族に基づくメモリーレス準ニュートン法の大域的収束性について2022

    • Author(s)
      中山舜民、成島康史、竹村壮史、矢部博
    • Organizer
      日本オペレーションズ・リサーチ学会
    • Related Report
      2021 Research-status Report
  • [Presentation] Convergence to a second-order critical point by a trust-region SQP method with a nonsmooth merit function2022

    • Author(s)
      矢部博、山下浩
    • Organizer
      研究集会「最適化:モデリングとアルゴリズム」
    • Related Report
      2021 Research-status Report
  • [Presentation] An inexact proximal difference-of-convex algorithm based on memoryless quasi-Newton methods2021

    • Author(s)
      中山舜民、成島康史、矢部博
    • Organizer
      SIAM Conference on Optimization、Washington, USA
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 微分不可能なDC関数を含む最適化問題に対する非厳密ニュートン型近接勾配法2021

    • Author(s)
      中山舜民、成島康史、矢部博
    • Organizer
      共同研究(公開型)「数理最適化の理論と応用の深化」、京都大学数理解析研究所
    • Related Report
      2021 Research-status Report
  • [Presentation] メモリーレス準ニュートン法に基づく非厳密ニュートン型近接DCアルゴリズム2021

    • Author(s)
      中山舜民、成島康史、矢部博
    • Organizer
      日本オペレーションズ・リサーチ学会
    • Related Report
      2021 Research-status Report
  • [Presentation] スパース最適化問題に対する近接勾配法と近接DCアルゴリズム2021

    • Author(s)
      中山舜民
    • Organizer
      日本オペレーションズ・リサーチ学会 最適化手法とアルゴリズム 研究部会 (SOMA) 第3回 研究会
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] 無制約最適化アルゴリズム ー準ニュートン法を中心にー2021

    • Author(s)
      中山舜民
    • Organizer
      計測自動制御学会 制御部門 2021年度 プラントモデリング部会「モデルベース システム開発の新展開」
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] 大規模な無制約最適化問題に対する数値解法とその周辺2021

    • Author(s)
      成島康史
    • Organizer
      日本応用数理学会 第13回三部会連携「応用数理セミナー」
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] メモリーレスBFGS公式に基づく非厳密ニュートン型近接勾配法における内部反復の改良について2021

    • Author(s)
      中山舜民、成島康史、矢部博
    • Organizer
      日本OR学会
    • Related Report
      2020 Research-status Report
  • [Presentation] 内部反復を改良したメモリーレスBFGS公式に基づく非厳密ニュートン型近接勾配法2021

    • Author(s)
      中山舜民、成島康史、矢部博
    • Organizer
      研究集会「最適化:モデリングとアルゴリズム」
    • Related Report
      2020 Research-status Report
  • [Presentation] リーマン多様体上の最適化問題に対するBroyden公式族に基づいた準ニュートン法2021

    • Author(s)
      竹村壮史、矢部博
    • Organizer
      研究集会「最適化:モデリングとアルゴリズム」
    • Related Report
      2020 Research-status Report
  • [Presentation] 非凸最適化問題に対するメモリーレス準ニュートン法に基づいた非厳密ニュートン型近接勾配法、およびその数値的な効率性について2020

    • Author(s)
      中山舜民、成島康史、矢部博
    • Organizer
      京都大学数理解析研究所 共同研究(グループ型)「数理最適化の理論・アルゴリズム・応用」
    • Related Report
      2020 Research-status Report
  • [Presentation] 非凸なスパース回帰問題に対する近接勾配法と近接DCAの比較2020

    • Author(s)
      中山舜民, 後藤順哉
    • Organizer
      京都大学数理解析研究所 共同研究(グループ型)「数理最適化の理論・アルゴリズム・応用」
    • Related Report
      2020 Research-status Report
  • [Presentation] Continuous exact penalty approach to grouped variable selection in regression methods2020

    • Author(s)
      Jun-ya Gotoh and Shummin Nakayama
    • Organizer
      INFORMS Annual Meeting
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] 非線形半正定値計画問題に対する主双対内点法2020

    • Author(s)
      矢部博
    • Organizer
      第32回RAMP数理最適化シンポジウム
    • Related Report
      2020 Research-status Report
    • Invited

URL: 

Published: 2020-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi