2022 Fiscal Year Annual Research Report
| Project/Area Number |
22J20130
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
磯部 伸 東京大学, 数理科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2022-04-22 – 2025-03-31
|
| Keywords | 深層学習 / ODE / 変分法 / 平均場最適制御 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
巷で流行しているChatGPTに代表されるような現代の人工知能にとって，深層学習 (Deep Learning) と呼ばれる数理モデルは，不可欠な要素技術である．ここで，深層学習は，Deep Neural Network (DNN) という，非線形写像を逐次的に合成する関数モデルを，「学習」，つまり，数理最適化することである．DNNについては，万能近似定理や汎化誤差評価といった理論的な解析が進展している．他方，「学習」に関しては，DNNが関数合成から構成されていることが障壁となり，一般的な設定における解析が発展途上になってしまっている．この困難を克服しようと，DNNの逐次的な関数合成を，あるODEの離散化とみなす見方が持ち込まれつつある．このODE化されたDNNはODE-Netと呼ばれる．しかしながら，このようにDNNをODE-Netに取り換えた際には，ODE-Netに適合する「学習」の定式化や解析の枠組みを，新たに確立する必要がある．
そこで本年度は，ODE-Netの学習を解析学的，または，変分的に定式化する研究を行った．先行研究においては，提案した変分的定式化に関する最小化元の存在性が，十分議論されていない．例えば，Bonnetらは「学習」に際して課される (L^2) 正則化に伴って必要な正則化パラメータが十分大きいという仮定が必要を必要としているが，実用的な「学習」では十分小さくとる必要がある．我々の研究では，この差を埋めるために，正則化パラメータに仮定を課さずに，最小化元の存在を証明した．この存在証明においては，Neural Networkがある種の線形性を有するという仮定が代わりに必要であるが，Bayes的定式化に触発された定式化を導入することによって，この線形性も仮定から外すことができることを証明した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初は、ODE的深層学習の安定性にまで踏み込むつもりであったが、この安定性を論じるために必要な理論的基礎づけが、未だ十分になされていないことが判明した。そのため、
本年度、そして現在は、理論的基礎づけ、特に、ODE的深層学習の学習結果、そして、学習過程を理論解析するための土台作りに注力している。一見、これらの基礎づけに注力したことで、安定性の解析という目標からすると、進捗が遅れているように思える。しかし、このように基礎理論の構築を行うことは、複雑な深層学習を見通しよく理論解析するためには、むしろ近道である。また、形式的な論理だけで理論解析を行うことは、当研究計画の究極目標である「深層学習の『信頼性』向上』の観点からも望ましくない。したがって、本研究課題は概ね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
来年度は、本年度構築した定式化を踏まえ、学習過程を定性的に説明する理論的枠組と、その枠組に根ざした具体的なニューラルネットワークアーキテクチャの構成に取り組む。具体的には、まず、学習過程を、勾配流方程式としてモデル化し、この方程式の漸近挙動を明らかにする。この挙動の解析には、従来的な発展方程式論や最適制御理論だけではなく、時間依存確率測度の空間に対する微積分法を、新たに構築する必要がある。この構築には、平均場最適制御理論の枠組みが参考になると考えられる。これらの理論解析が終了し次第、漸近挙動の収束先の特徴づけが得られることが期待できる。さらに、この特徴づけを、離散化によって保存するようなニューラルネットワークを構築することで、ポスト深層学習の構築も可能になるであろう。
|
