2022 Fiscal Year Annual Research Report

A novel development of optimization and deep learning methods based on the idea of structure-preserving numerical analysis

Research Project

Project/Area Number	21H03452
Allocation Type	Single-year Grants
Research Institution	The University of Tokyo
Principal Investigator	松尾宇泰東京大学, 大学院情報理工学系研究科, 教授 (90293670)
Project Period (FY)	2021-04-01 – 2025-03-31
Keywords	数値解析 / 最適化 / 深層学習
Outline of Annual Research Achievements	本研究では，(1)最適化手法および深層学習手法の数値解析学的解釈の基礎を再検討し，(2)それらにおいて有用な数理構造を抽出し，(3)その上で構造保存的数値計算法の考え方により新しい離散化，すなわち手法導出を，この順に検討してゆく．さらにその過程で，最適化や深層学習といった新しい計算分野を踏まえての，構造保存解法や数値解析学そのものの更新も必要に応じて検討することが目標である．以前のサーベイにより，最適化手法に対する常微分方程式アプローチにおいて，数値解析学の知見が充分活用されておらず不完全な状態にあることが分かっていた．この状況をふまえて昨年度までに，常微分方程式に対する数値解法の安定性の議論から，最適化手法を表す常微分方程式の解の収束レートが本質的に定まることを示していた．また最適化の一次法において，数値解析学的に手法の安定性に関係するのは目的関数のヘッセ行列の固有値であり，悪条件な問題ではこれらが安定性を議論する平面上で負の実軸上に広く分布することから，それに適した数値解法を用いることで，悪条件な問題においても効率よく動く手法が構成できることを示していた．本年度は，以下を行った．(i) 最適化理論において，数値解析における「離散勾配」の概念を拡張した「弱離散勾配」が有用であることを発見し，それによって手法の統一的記述ができることを示した．(ii) 構造保存解法の新しい数学解析手法を開発した．(iii) 最適化における確率勾配法に着想を得た新しい数値解法について基礎的検討を行った．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason コロナ禍により，成果発表・研究交流の機会が少なく，研究成果に関するアウトリーチが遅れていたが，それを概ね解消しつつある．
Strategy for Future Research Activity	最適化手法への数値解析学的アプローチは，理解が順調に進み，その上で新しい結果が色々と出ており順調である．また，コロナ禍で一時生じた，研究成果のアウトリーチの遅れについても，それを取り戻しつつある．今後，さらにより高度な最適化手法への数値解析学的アプローチを検討してゆく．深層学習方面はやや停滞しているが，ニューラル常微分方程式アプローチの近年の動向のサーベイを行い，構造保存解法の適用可能性を探ってゆきたい．