| Project/Area Number |
22KJ1002
|
|---|
| Project/Area Number (Other) |
22J20130 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 12040:Applied mathematics and statistics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
磯部 伸 東京大学, 数理科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 深層学習 / 勾配流 / Wasserstein / \L{}ojasiewicz--Simon不等式 / 生成モデル / Flow Matching / ODE / 変分法 / 平均場最適制御 / ニューラルネットワーク |
|---|
| Outline of Research at the Start |
翻訳や画像診断等の人工知能（AI）技術の中核を担う深層学習の信頼性向上は喫緊の課題である．しかしながら，その信頼性を支えるはずの数理的基盤は，既存の数理科学の枠組みでは扱い切れず，甚だ脆弱であると言わざるを得ない． 本研究は，既存の数学的枠組みを大きく拡張することで，この基盤を新たに構築することを目指す．具体的には，時間発展方程式に対する変分的手法を独自に開発し，それに基づく深層ニューラルネットワークの学習過程，学習結果を定性的に説明する理論体系を確立するこのようにAIの数理基盤が盤石に構築されれば，将来的に，誰もが安心してAI技術を用いることのできる社会の実現に繋がる．
|
| Outline of Annual Research Achievements |
今年度は次の二つの研究を行った：
1.昨年度までに導入した「学習」の定式化に基づき，「学習過程」の数理解析を行った．具体的には，Eによる勾配流による「学習過程」の定式化に基づき，その勾配流の漸近挙動を研究した．その結果として，勾配流の臨界点への漸近収束を証明した．先行研究においては，NNがパラメータに関して線形である必要があったが，Lionsによって開発されたL-導関数の概念を導入することで，NNが非線形であっても証明が可能になった．
2.一般の教師有学習の枠組みでは，「学習」されたODE-Netの解が，目標としている関数を精度よく近似しているか不明である．このような動機に基づき，新たな学習の枠組みを提案し，理論保障と実証実験を行った．この枠組みは，こ生成モデルの文脈で話題になっているFlow Matchingと呼ばれる学習の枠組みを，Brenierによって研究された一般化連続方程式を用いて一般化したものである．この一般化は，深層学習技術に根差した生成モデルを社会実装するために不可欠な，条件付き生成というタスクに，Flow Matchingを応用することを可能にした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年度の結果，および，今年度おこなった勾配流の研究結果は，既にプレプリントとして公開しており，学術雑誌への投稿も完了している．査読も，最終年度までには完了する見込みである．
今年度後半におこなったFlow Matchingの研究に関しては，大規模実験の実施が課題である．この点に関しては，深層学習の実装面に優れた共同研究者と協力して，現在解決を目指している．
|
| Strategy for Future Research Activity |
今年度おこなったFlow Matchingの研究は，実装と理論の両面で，解決すべき課題が多く残っている．とくに，Wasserstein空間値のDirichlet問題に関する数値解析の必要性が残っている．また，関数近似の基盤となる深層ニューラルネットワークの構造に対しても，Flow Matchingという問題設定を前提とした設計がひつようである．
今後の研究としては，以上の二つの方向性で新たな研究分野の開拓を目論むとともに，学術雑誌論文や国際会議論文の受理を目指す．
|
