• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development and deepening of nonlinear optimization in machine learning

Research Project

Project/Area Number 20K14986
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 25010:Social systems engineering-related
Research InstitutionThe University of Electro-Communications (2022-2023)
Chuo University (2020-2021)

Principal Investigator

Nakayama Shummin  電気通信大学, i-パワードエネルギー・システム研究センター, 助教 (90847196)

Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Keywords非線形関数 / 非平滑最適化 / 近接勾配法 / ニュートン型近接勾配法 / 2次法 / 非線形最適化 / スパース最適化 / ニュートン法 / 多様体 / 無制約最適化 / 準ニュートン法 / DC最適化 / 近接DCA / 機械学習 / 勾配法
Outline of Research at the Start

近年,機械学習の分野において様々な数理モデルが登場しており,その中で大規模かつ複雑な非線形最適化問題を解く必要性が増えてきた.その一方で,そのモデルが数学的にどのような性質を持つかかという議論や,その最適化問題を解く数値計算アルゴリズムが不十分である.機械学習におけるモデルを数学的に分析するとともに,大規模かつ複雑な非線形最適化問題に対する数値計算アルゴリズムの開発する.

Outline of Final Research Achievements

Various nonlinear optimization problems appear in machine learning, and algorithms to solve these problems are necessary. This research focuses on studying nonlinear optimization, specifically proximal Newton-type methods for solving sparse optimization problems. The proximal Newton-type method is an algorithm for optimization problems where the objective function is sum of a smooth function and a non-smooth function. Proximal gradient methods, based on the gradient descent method that uses only the first order information of the smooth function, require many iterations to obtain the solution to the original problem. In this study, we focus on proximal Newton-type methods that use second order information, and we are developing new algorithms.

Academic Significance and Societal Importance of the Research Achievements

本研究では、スパース最適化を中心に機械学習で登場する様々な非線形最適化問題に対するアルゴリズムの開発および大域的収束性などの数学的な理論保証を行なった。汎化性能の高い機械学習モデルは複雑かつ大規模な問題であるため、このような問題に対する数値計算アルゴリズムの提案と理論保証は重要であり、社会の様々な場面で役立っている。さらには、今回開発したアルゴリズムのアイデアや数学的な理論保証は、今後の非線形最適化を扱う分野でも重要な役割を担うことが期待される。以上のことから、本研究の学術的意義は大きい。

Report

(5 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (31 results)

All 2024 2023 2022 2021 2020

All Journal Article (8 results) (of which Peer Reviewed: 7 results,  Open Access: 3 results) Presentation (23 results) (of which Int'l Joint Research: 5 results,  Invited: 3 results)

  • [Journal Article] An acceleration of proximal diagonal Newton method2024

    • Author(s)
      Shotaro Yagishita and Shummin Nakayama
    • Journal Title

      JSIAM Letters

      Volume: 16 Issue: 0 Pages: 5-8

    • DOI

      10.14495/jsiaml.16.5

    • ISSN
      1883-0609, 1883-0617
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Inexact proximal DC Newton-type method for nonconvex composite functions2023

    • Author(s)
      Shummin Nakayama, Yasushi Narushima and Hiroshi Yabe
    • Journal Title

      Computational Optimization and Applications

      Volume: 87 Issue: 2 Pages: 611-640

    • DOI

      10.1007/s10589-023-00525-9

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Memoryless Quasi-Newton Methods Based on the Spectral-Scaling Broyden Family for Riemannian Optimization2023

    • Author(s)
      Narushima Yasushi、Nakayama Shummin、Takemura Masashi、Yabe Hiroshi
    • Journal Title

      Journal of Optimization Theory and Applications

      Volume: - Issue: 2 Pages: 639-664

    • DOI

      10.1007/s10957-023-02183-7

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] A proximal quasi-Newton method based on memoryless modified symmetric rank-one formula2023

    • Author(s)
      Yasushi Narushima, Shummin Nakayama
    • Journal Title

      Journal of Industrial and Management Optimization

      Volume: 19 Issue: 6 Pages: 4095-4111

    • DOI

      10.3934/jimo.2022123

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] On the superiority of PGMs to PDCAs in nonsmooth nonconvex sparse regression2021

    • Author(s)
      Nakayama Shummin、Gotoh Jun-ya
    • Journal Title

      Optimization Letters

      Volume: - Issue: 8 Pages: 1-30

    • DOI

      10.1007/s11590-021-01716-1

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] Global convergence of a proximal memoryless symmetric rank one method for minimizing composite functions2021

    • Author(s)
      Nakayama Shummin, Narushima Yasushi
    • Journal Title

      In Proceedings of International Conference on Nonlinear Analysis and Convex Analysis - International Conference on Optimization Techniques and Applications (NACA-ICOTA2019)

      Volume: 2 Pages: 99-108

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Inexact proximal memoryless quasi-Newton methods based on the Broyden family for minimizing composite functions2021

    • Author(s)
      Nakayama Shummin、Narushima Yasushi、Yabe Hiroshi
    • Journal Title

      Computational Optimization and Applications

      Volume: 79 Issue: 1 Pages: 127-154

    • DOI

      10.1007/s10589-021-00264-9

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] 大規模無制約最適化問題に対する準ニュートン法と近接勾配法2020

    • Author(s)
      中山舜民
    • Journal Title

      オペレーションズ・リサーチ

      Volume: 65 Pages: 650-655

    • Related Report
      2020 Research-status Report
  • [Presentation] Nonmonotone proximal structured quasi-Newton methods based on the Broyden family2023

    • Author(s)
      Yasushi Narushima, Shummin Nakayama, Hiroshi Yabe
    • Organizer
      The Third Pacific Optimisation Conference (POC2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Proximal diagonal Newton method for nonconvex composite optimization2023

    • Author(s)
      Shummin Nakayama, Shotaro Yagishita
    • Organizer
      The Third Pacific Optimisation Conference (POC2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Proximal structured quasi-Newton method for nonlinear least squares with nonsmooth regularizer2023

    • Author(s)
      Shummin Nakayama, Yasushi Narushima, Hiroshi Yabe
    • Organizer
      10th International Congress on Industrial and Applied Mathematics (ICIAM)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 太陽光発電を含むエネルギーシステムの不確実な状況下での電力価格決定モデル2023

    • Author(s)
      坂本翼, 中山舜民
    • Organizer
      日本オペレーションズ・リサーチ学会 2024 年春季研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 構造化Broyden公式族に基づいたニュートン型近接勾配法の局所的収束性2023

    • Author(s)
      中山舜民, 成島康史, 矢部博
    • Organizer
      日本応用数理学会 第20回 研究部会連合発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 構造化Broyden公式族に基づいたニュートン型近接勾配法2023

    • Author(s)
      中山舜民, 成島康史, 矢部博
    • Organizer
      日本オペレーションズ・リサーチ学会 2023 年春秋研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 構造化Broyden公式族に基づいたニュートン型近接勾配法の大域的収束性2023

    • Author(s)
      矢部博, 中山舜民, 成島康史
    • Organizer
      京都大学数理解析研究所 共同研究(公開型)「数理最適化: 理論と実践」
    • Related Report
      2023 Annual Research Report
  • [Presentation] 正則化付き最適化問題に対する数値計算アルゴリズム2023

    • Author(s)
      中山舜民
    • Organizer
      第44回 情報数理工学セミナー
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] 悪条件の問題に対する近接対角ニュートン法の提案とその優位性について2023

    • Author(s)
      柳下翔太郎, 中山舜民
    • Organizer
      日本応用数理学会 第19回 研究部会連合発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] 上下限制約付き最適化問題に対する有効制約ブロックBarzilai-Borwein 法2023

    • Author(s)
      中山舜民
    • Organizer
      日本オペレーションズ・リサーチ学会 2023 年春季研究発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] ヘッセ行列の対角成分を用いた近接勾配法2023

    • Author(s)
      柳下翔太郎, 中山舜民
    • Organizer
      日本オペレーションズ・リサーチ学会 2023 年春季研究発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] Trimmed l_1 正則化を用いたイメージレジストレーション2022

    • Author(s)
      中山舜民, 後藤順哉
    • Organizer
      京都大学数理解析研究所 共同研究(公開型) 数理最適化の理論と応用の深化
    • Related Report
      2022 Research-status Report
  • [Presentation] リーマン多様体上の最適化問題に対するブロイデン公式族に基づくメモリーレス準ニュートン法の大域的収束性について2022

    • Author(s)
      中山舜民, 成島康史, 竹村壮史, 矢部博
    • Organizer
      日本オペレーションズ・リサーチ学会 2022 年春季研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] An Inexact Proximal Difference-of-Convex Algorithm Based on Memoryless Quasi-Newton Methods2021

    • Author(s)
      Shummin Nakayama, Yasushi Narushima, Hiroshi Yabe
    • Organizer
      2021 SIAM Conference on Optimization
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] メモリーレス準ニュートン法に基づく非厳密ニュートン型近接DCアルゴリズム2021

    • Author(s)
      中山舜民, 成島康史, 矢部博
    • Organizer
      日本オペレーションズ・リサーチ学会 2021 年春秋研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] 微分不可能なDC関数を含む最適化問題に対する非厳密ニュートン型近接勾配法2021

    • Author(s)
      中山舜民, 成島康史, 矢部博
    • Organizer
      京都大学数理解析研究所 共同研究(公開型) 数理最適化の理論と応用の深化
    • Related Report
      2021 Research-status Report
  • [Presentation] スパース最適化問題に対する近接勾配法と近接DCアルゴリズム2021

    • Author(s)
      中山舜民
    • Organizer
      日本オペレーションズ・リサーチ学会 最適化手法とアルゴリズム 研究部会 (SOMA) 第3回 研究会
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] 無制約最適化アルゴリズム ~準ニュートン法を中心に~2021

    • Author(s)
      中山舜民
    • Organizer
      計測自動制御学会 制御部門 2021年度 プラントモデリング部会「モデルベースシステム開発の新展開」
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] 内部反復を改良したメモリーレス BFGS 公式に基づく非厳密ニュートン型近接勾配法2021

    • Author(s)
      中山舜民, 成島康史, 矢部博
    • Organizer
      統計数理研究所研究集会「最適化:モデリングとアルゴリズム」
    • Related Report
      2020 Research-status Report
  • [Presentation] モリーレスBFGS公式に基づく非厳密ニュートン型近接勾配法における内部反復の改良について2021

    • Author(s)
      中山舜民, 成島康史, 矢部博
    • Organizer
      日本オペレーションズ・リサーチ学会
    • Related Report
      2020 Research-status Report
  • [Presentation] Continuous Exact Penalty Approach To Grouped Variable Selection In Regression Methods2020

    • Author(s)
      Jun-ya Gotoh, Shummin Nakayama
    • Organizer
      INFORMS Annual Meeting
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] 非凸なスパース回帰問題に対する近接勾配法と近接DCA の比較2020

    • Author(s)
      中山舜民, 後藤順哉
    • Organizer
      京都大学数理解析研究所 共同研究(グループ型) 数理最適化の理論・アルゴリズム・応用
    • Related Report
      2020 Research-status Report
  • [Presentation] 非凸最適化問題に対するメモリーレス準ニュートン法に基づいた非厳密ニュートン型近接勾配法, およびその数値的な効率性について2020

    • Author(s)
      中山舜民, 成島康史, 矢部博
    • Organizer
      京都大学数理解析研究所 共同研究(グループ型) 数理最適化の理論・アルゴリズム・応用
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi