• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Annual Research Report

A novel development of optimization and deep learning methods based on the idea of structure-preserving numerical analysis

Research Project

Project/Area Number 21H03452
Allocation TypeSingle-year Grants
Research InstitutionThe University of Tokyo

Principal Investigator

松尾 宇泰  東京大学, 大学院情報理工学系研究科, 教授 (90293670)

Project Period (FY) 2021-04-01 – 2025-03-31
Keywords数値解析 / 構造保存解法 / 最適化 / 深層学習
Outline of Annual Research Achievements

本研究では,(1)最適化手法および深層学習手法の数値解析学的解釈の基礎を再検討し,(2)それらにおいて有用な数理構造を抽出し,(3)その上で構造保存的数値計算法の考え方により新しい離散化,すなわち手法導出を,この順に検討してゆく.さらにその過程で,最適化や深層学習といった新しい計算分野を踏まえての,構造保存解法や数値解析学そのものの更新も必要に応じて検討することが目標である.
以前のサーベイにより,最適化手法に対する常微分方程式アプローチにおいて,数値解析学の知見が充分活用されておらず不完全な状態にあることが分かっていた.この状況をふまえて昨年度までに,常微分方程式に対する数値解法の安定性の議論から,最適化手法を表す常微分方程式の解の収束レートが本質的に定まることを示していた.また最適化の一次法において,数値解析学的に手法の安定性に関係するのは目的関数のヘッセ行列の固有値であり,悪条件な問題ではこれらが安定性を議論する平面上で負の実軸上に広く分布することから,それに適した数値解法を用いることで,悪条件な問題においても効率よく動く手法が構成できることを示していた.
本年度は,以下を行った.(i) 最適化手法を統一的に記述するための「弱離散勾配法」を確立した.これにより記述が容易になっただけでなく,理論解析の仮定の位置づけも明確になった.(ii) 最適化手法を表す連続力学系の収束解析を行うための新しいアプローチを開発した.(iii) 構造保存解法の発展のひとつとして,計算科学分野で近年重要視されている部分和分法と既存の構造保存解法の関係を考察し,それぞれの手法における拡張を考案した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

最適化方面では,当初目指した以上の進展が得られており順調である.また,本研究では最適化や深層学習を新しい計算対象と考えたときの,構造保存解法そのものの進展も目指しているが,その方向においても一定の進展があった.
他方,深層学習方面は,いまだ考察が遅れており,研究計画最終年度での進展が期待される.

Strategy for Future Research Activity

最適化手法への数値解析学的アプローチは,理解が順調に進み,その上で新しい結果が色々と出ており順調である.今後,さらにより高度な最適化手法への数値解析学的アプローチを検討してゆく.
深層学習方面はやや停滞しているため,研究計画最終年度は,最適化方面で得られた知見を深層学習(ニューラルODE)でも活かせないか,検討を行う.

  • Research Products

    (5 results)

All 2024 2023

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (4 results) (of which Invited: 1 results)

  • [Journal Article] A unified discretization framework for differential equation approach with Lyapunov arguments for convex optimization2023

    • Author(s)
      Kansei Ushiyama, Shun Sato, Takayasu Matsuo
    • Journal Title

      Advances in Neural Information Processing Systems

      Volume: 36 Pages: 26092--26120

    • Peer Reviewed / Open Access
  • [Presentation] 最適化手法の連続時間モデルに対する新しい収束率解析法2024

    • Author(s)
      牛山 寛生, 佐藤 峻, 松尾 宇泰
    • Organizer
      日本応用数理学会 第20回 研究部会連合発表会
  • [Presentation] 部分和分作用素を用いた離散変分導関数法2024

    • Author(s)
      梅津 光汰, 佐藤 峻, 松尾 宇泰
    • Organizer
      日本応用数理学会 第20回 研究部会連合発表会
  • [Presentation] 連続最適化手法とその連続極限における収束レートの対応について2023

    • Author(s)
      佐藤 峻, 牛山 寛生, 野沢 諒太, 松尾 宇泰
    • Organizer
      RIMS共同研究(公開型)「新時代における高性能科学技術計算法の探究」
    • Invited
  • [Presentation] A Unified Discretization Framework for Differential Equation Approach with Lyapunov Arguments for Convex Optimization2023

    • Author(s)
      牛山 寛生, 佐藤 峻, 松尾 宇泰
    • Organizer
      第26回情報論的学習理論ワークショップ

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi