• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Annual Research Report

A novel development of optimization and deep learning methods based on the idea of structure-preserving numerical analysis

Research Project

Project/Area Number 21H03452
Allocation TypeSingle-year Grants
Research InstitutionThe University of Tokyo

Principal Investigator

松尾 宇泰  東京大学, 大学院情報理工学系研究科, 教授 (90293670)

Project Period (FY) 2021-04-01 – 2025-03-31
Keywords数値解析 / 最適化 / 深層学習
Outline of Annual Research Achievements

本研究では,(1)最適化手法および深層学習手法の数値解析学的解釈の基礎を再検討し,(2)それらにおいて有用な数理構造を抽出し,(3)その上で構造保存的数値計算法の考え方により新しい離散化,すなわち手法導出を,この順に検討してゆく.さらにその過程で,最適化や深層学習といった新しい計算分野を踏まえての,構造保存解法や数値解析学そのものの更新も必要に応じて検討することが目標である.
以前のサーベイにより,最適化手法に対する常微分方程式アプローチにおいて,数値解析学の知見が充分活用されておらず不完全な状態にあることが分かっていた.この状況をふまえて昨年度までに,常微分方程式に対する数値解法の安定性の議論から,最適化手法を表す常微分方程式の解の収束レートが本質的に定まることを示していた.また最適化の一次法において,数値解析学的に手法の安定性に関係するのは目的関数のヘッセ行列の固有値であり,悪条件な問題ではこれらが安定性を議論する平面上で負の実軸上に広く分布することから,それに適した数値解法を用いることで,悪条件な問題においても効率よく動く手法が構成できることを示していた.
本年度は,主に最適化手法の理論解析手法に着目し,数値解析学における「構造保存解法」の概念をうまく用いると,これまで職人芸的であった最適化手法の理論解析が見通しよく,統一的な枠組の上で議論できることを発見した.この新しい枠組では,手法の収束性を保証するための仮定が整理されており明解であり,新しい解法の構築に役立つことが期待される.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

主に最適化に注力する格好になってはいるが,最適化分野では当初想定していた以上の成果が得られており,全体として概ね順調に進展していると言える.

Strategy for Future Research Activity

最適化手法への数値解析学的アプローチは,理解が順調に進み,その上で新しい結果が色々と出ており順調である.今後,さらにより高度な最適化手法への数値解析学的アプローチを検討してゆく.
深層学習方面はやや停滞しているが,ニューラル常微分方程式アプローチの近年の動向のサーベイを行い,構造保存解法の適用可能性を探ってゆきたい.

  • Research Products

    (4 results)

All 2022

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (2 results)

  • [Journal Article] Mathematical analysis of a conservative numerical scheme for the Ostrovsky equation2022

    • Author(s)
      Shuto Kawai, Shun Sato, Takayasu Matsuo
    • Journal Title

      JSIAM Letters

      Volume: 14 Pages: 53--56

    • DOI

      10.14495/jsiaml.14.53

    • Peer Reviewed
  • [Journal Article] Essential convergence rate of ordinary differential equations appearing in optimization2022

    • Author(s)
      Kansei Ushiyama, Shun Sato, Takayasu Matsuo
    • Journal Title

      JSIAM Letters

      Volume: 14 Pages: 119--122

    • DOI

      10.14495/jsiaml.14.119

    • Peer Reviewed
  • [Presentation] Nesterovの加速勾配法の可変刻み線形多段法としての解釈とその応用について2022

    • Author(s)
      野沢 諒太, 松尾 宇泰, 佐藤 峻
    • Organizer
      日本応用数理学会 2022年度 年会
  • [Presentation] 勾配流に対する離散勾配を用いた最適化手法の統一的記述について2022

    • Author(s)
      牛山 寛生, 佐藤 峻, 松尾 宇泰
    • Organizer
      日本応用数理学会 2022年度 年会

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi