A novel development of optimization and deep learning methods based on the idea of structure-preserving numerical analysis

• Project/Area Number: 23K21674
• Project/Area Number (Other): 21H03452 (2021-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2021-2023)
• Section: 一般
• Review Section: Basic Section 60100:Computational science-related
• Research Institution: The University of Tokyo
• Principal Investigator: 松尾 宇泰 東京大学, 大学院情報理工学系研究科, 教授 (90293670)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000); Fiscal Year 2024: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2022: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2021: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
• Keywords: 数値解析 / 最適化 / 深層学習 / 構造保存解法

Outline of Research at the Start

本研究では，(1)最適化手法および深層学習手法の数値解析学的解釈の基礎を再検討し，(2)それらにおいて有用な数理構造を抽出し，(3)その上で構造保存的数値計算法の考え方により新しい離散化，すなわち手法導出を，この順に検討してゆく．さらにその過程で，最適化や深層学習といった新しい計算分野を踏まえての，構造保存解法や数値解析学そのものの更新も必要に応じて検討する． 研究計画期間全体において，まず最適化手法から検討を開始し，次いで深層学習にも研究を展開する．

Outline of Annual Research Achievements

本研究では，(1)最適化手法および深層学習手法の数値解析学的解釈の基礎を再検討し，(2)それらにおいて有用な数理構造を抽出し，(3)その上で構造保存的数値計算法の考え方により新しい離散化，すなわち手法導出を，この順に検討してゆく．さらにその過程で，最適化や深層学習といった新しい計算分野を踏まえての，構造保存解法や数値解析学そのものの更新も必要に応じて検討することが目標である．
以前のサーベイにより，最適化手法に対する常微分方程式アプローチにおいて，数値解析学の知見が充分活用されておらず不完全な状態にあることが分かっていた．この状況をふまえて昨年度までに，常微分方程式に対する数値解法の安定性の議論から，最適化手法を表す常微分方程式の解の収束レートが本質的に定まることを示していた．また最適化の一次法において，数値解析学的に手法の安定性に関係するのは目的関数のヘッセ行列の固有値であり，悪条件な問題ではこれらが安定性を議論する平面上で負の実軸上に広く分布することから，それに適した数値解法を用いることで，悪条件な問題においても効率よく動く手法が構成できることを示していた．
本年度は，以下を行った．(i) 最適化手法を統一的に記述するための「弱離散勾配法」を確立した．これにより記述が容易になっただけでなく，理論解析の仮定の位置づけも明確になった．(ii) 最適化手法を表す連続力学系の収束解析を行うための新しいアプローチを開発した．(iii) 構造保存解法の発展のひとつとして，計算科学分野で近年重要視されている部分和分法と既存の構造保存解法の関係を考察し，それぞれの手法における拡張を考案した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

最適化方面では，当初目指した以上の進展が得られており順調である．また，本研究では最適化や深層学習を新しい計算対象と考えたときの，構造保存解法そのものの進展も目指しているが，その方向においても一定の進展があった．
他方，深層学習方面は，いまだ考察が遅れており，研究計画最終年度での進展が期待される．

Strategy for Future Research Activity

最適化手法への数値解析学的アプローチは，理解が順調に進み，その上で新しい結果が色々と出ており順調である．今後，さらにより高度な最適化手法への数値解析学的アプローチを検討してゆく．
深層学習方面はやや停滞しているため，研究計画最終年度は，最適化方面で得られた知見を深層学習（ニューラルODE）でも活かせないか，検討を行う．

Research Products

• [Journal Article] A unified discretization framework for differential equation approach with Lyapunov arguments for convex optimization (2023)
  • Author(s): Kansei Ushiyama, Shun Sato, Takayasu Matsuo
  • Journal Title: Advances in Neural Information Processing Systems Volume: 36
  • Peer Reviewed / Open Access
• [Journal Article] Mathematical analysis of a conservative numerical scheme for the Ostrovsky equation (2022)
  • Author(s): Shuto Kawai, Shun Sato, Takayasu Matsuo
  • Journal Title: JSIAM Letters Volume: 14 Issue: 0 Pages: 53-56
  • DOI: 10.14495/jsiaml.14.53
  • ISSN: 1883-0609, 1883-0617
  • Peer Reviewed
• [Journal Article] Essential convergence rate of ordinary differential equations appearing in optimization (2022)
  • Author(s): Kansei Ushiyama, Shun Sato, Takayasu Matsuo
  • Journal Title: JSIAM Letters Volume: 14 Issue: 0 Pages: 119-122
  • DOI: 10.14495/jsiaml.14.119
  • ISSN: 1883-0609, 1883-0617
  • Peer Reviewed
• [Presentation] 最適化手法の連続時間モデルに対する新しい収束率解析法 (2024)
  • Author(s): 牛山 寛生, 佐藤 峻, 松尾 宇泰
  • Organizer: 日本応用数理学会 第20回 研究部会連合発表会
• [Presentation] 部分和分作用素を用いた離散変分導関数法 (2024)
  • Author(s): 梅津 光汰, 佐藤 峻, 松尾 宇泰
  • Organizer: 日本応用数理学会 第20回 研究部会連合発表会
• [Presentation] 連続最適化手法とその連続極限における収束レートの対応について (2023)
  • Author(s): 佐藤 峻, 牛山 寛生, 野沢 諒太, 松尾 宇泰
  • Organizer: RIMS共同研究（公開型）「新時代における高性能科学技術計算法の探究」
  • Invited
• [Presentation] A Unified Discretization Framework for Differential Equation Approach with Lyapunov Arguments for Convex Optimization (2023)
  • Author(s): 牛山 寛生, 佐藤 峻, 松尾 宇泰
  • Organizer: 第26回情報論的学習理論ワークショップ
• [Presentation] 最適化のための Runge--Kutta--Chebyshev 法における曲線探索法 (2023)
  • Author(s): 牛山 寛生, 佐藤 峻, 松尾 宇泰
  • Organizer: 第49回 数値解析シンポジウム
• [Presentation] KdV 型発展方程式に対するエネルギー保存解法の数学的解析手法について (2023)
  • Author(s): 川合 秀人, 松尾 宇泰, 佐藤 峻
  • Organizer: 第49回 数値解析シンポジウム
• [Presentation] アフィン座標変換に対して不変な射影を用いた常微分方程式の保存的数値解法 (2023)
  • Author(s): 石井 直樹, 佐藤 峻, 松尾 宇泰
  • Organizer: 第49回 数値解析シンポジウム
• [Presentation] 発展方程式に対する乱択化分解解法 (2023)
  • Author(s): 麻生 豊大, 佐藤 峻, 松尾 宇泰
  • Organizer: 第49回 数値解析シンポジウム
• [Presentation] Nesterovの加速勾配法の可変刻み線形多段法としての解釈とその応用について (2022)
  • Author(s): 野沢 諒太, 松尾 宇泰, 佐藤 峻
  • Organizer: 日本応用数理学会 2022年度 年会
• [Presentation] 勾配流に対する離散勾配を用いた最適化手法の統一的記述について (2022)
  • Author(s): 牛山 寛生, 佐藤 峻, 松尾 宇泰
  • Organizer: 日本応用数理学会 2022年度 年会