2023 Fiscal Year Research-status Report
| Project/Area Number |
22KJ1002
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
磯部 伸 東京大学, 数理科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Keywords | 深層学習 / 勾配流 / Wasserstein / \L{}ojasiewicz--Simon不等式 / 生成モデル / Flow Matching |
|---|
| Outline of Annual Research Achievements |
今年度は次の二つの研究を行った：
1.昨年度までに導入した「学習」の定式化に基づき，「学習過程」の数理解析を行った．具体的には，Eによる勾配流による「学習過程」の定式化に基づき，その勾配流の漸近挙動を研究した．その結果として，勾配流の臨界点への漸近収束を証明した．先行研究においては，NNがパラメータに関して線形である必要があったが，Lionsによって開発されたL-導関数の概念を導入することで，NNが非線形であっても証明が可能になった．
2.一般の教師有学習の枠組みでは，「学習」されたODE-Netの解が，目標としている関数を精度よく近似しているか不明である．このような動機に基づき，新たな学習の枠組みを提案し，理論保障と実証実験を行った．この枠組みは，こ生成モデルの文脈で話題になっているFlow Matchingと呼ばれる学習の枠組みを，Brenierによって研究された一般化連続方程式を用いて一般化したものである．この一般化は，深層学習技術に根差した生成モデルを社会実装するために不可欠な，条件付き生成というタスクに，Flow Matchingを応用することを可能にした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年度の結果，および，今年度おこなった勾配流の研究結果は，既にプレプリントとして公開しており，学術雑誌への投稿も完了している．査読も，最終年度までには完了する見込みである．
今年度後半におこなったFlow Matchingの研究に関しては，大規模実験の実施が課題である．この点に関しては，深層学習の実装面に優れた共同研究者と協力して，現在解決を目指している．
|
| Strategy for Future Research Activity |
今年度おこなったFlow Matchingの研究は，実装と理論の両面で，解決すべき課題が多く残っている．とくに，Wasserstein空間値のDirichlet問題に関する数値解析の必要性が残っている．また，関数近似の基盤となる深層ニューラルネットワークの構造に対しても，Flow Matchingという問題設定を前提とした設計がひつようである．
今後の研究としては，以上の二つの方向性で新たな研究分野の開拓を目論むとともに，学術雑誌論文や国際会議論文の受理を目指す．
|
| Causes of Carryover |
次年度の複数回にわたる海外出張に備えるため
|
