2020 Fiscal Year Annual Research Report
Creation of a foundation for a numerical approach to deep learning
| Project/Area Number |
20H01822
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
降籏 大介 大阪大学, サイバーメディアセンター, 教授 (80242014)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 宇泰 東京大学, 大学院情報理工学系研究科, 教授 (90293670)
田中 健一郎 東京大学, 大学院情報理工学系研究科, 准教授 (70610640)
宮武 勇登 大阪大学, サイバーメディアセンター, 准教授 (60757384)
佐藤 峻 東京大学, 大学院情報理工学系研究科, 助教 (40849072)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 数値解析 / 微分方程式 / 数値積分 / 関数近似 |
|---|
| Outline of Annual Research Achievements |
申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の２つの作業班を軸とし，それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり，そしていくつかのフェーズからなるものである．そして第１フェーズは統合班の指揮の下，各班で以下の実験的研究を行う予定であった．
まず，数値微分方程式班は「微分方程式の数値解法に基づく実験的DNN構築」を標語として計画を構成していた．これは，ResNet だけでなく類似 DNN （PolyNet，FractalNet等）も数値解法と関連づけられる可能性が示唆されていたがその先にある「数値解法から生まれる新DNN」は極めて最近調査が始まったばかりであることから，数値解析学の観点から，実際に新しいDNNを構築し画像認識等でその性能を評価するものであった（例えば異なる近似精度のRunge-Kutta法を試し性能を比較する）．これらの計画に対し該当班は予備的な調査過程として実験的DNNを構築しその性能評価等を開始している．
また，関数近似・数値積分班は「数値積分公式に基づく実験的DNN構築」という標語のもとに計画をたてていた．これは，数値積分公式に基づく観点からの新たなDNN構築の可能性が未解明であることから種々の数値積分公式の適用・開発によるこの可能性を調べるものである．本申請グループにはすでにその試みの実績がある（たとえば，一段NNにおける被積分関数に対して適切な重み・分点の組を数値解析学的に定めるアルゴリズムを考案している）ことからこの方向性で研究を発展，推進するものである．そして実際，DNNにどのような公式が真に有用であるかについて検証が必要であることから本段階でこの検証に取り掛かり，新たなDNNの構築に向けて検討を繰り返しているところである．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請計画にある本研究計画に沿って2つの班が予備調査・実験的段階である第1フェーズ計画を推進する予定であったが，研究実績欄で述べているように当フェーズにおいては計画に沿って十全に研究を推進することが出来た．よって順調な進展であると判断する次第である．
|
| Strategy for Future Research Activity |
第１フェーズで一定の進展があることから，計画通り統合班の指揮の下第2フェーズへの進展を考える．第２フェーズは「数値解析学的アプローチ基盤の構築」であり，数学的基盤を創ることを試みるものである．
まず，数値微分方程式班は「ネットワークの数値微分方程式表現の枠組探究」計画に沿って，後退誤差解析に基づいて DNNと背後の力学系を同時に理解する基盤を構成する試みから開始する．その後その結果に基づき数値解法の諸概念（解法の陽的・陰的，安定性，近似精度等）と DNN の対応を明らかにする．例えば既存研究で PolyNet が陰的 Euler 法相当であるとするものがあるが，この指摘は修正を要するためこうした研究が必要である．そしてさらに，構造保存解法の選択可能性を検討する．例えば既存研究に画像ラベリング等における有意なクラスタリングのために Hamilton 系が優位である可能性を指摘しているものがあるが，それに対するシンプレクティック解法等が優位である可能性がある．
そして関数近似・数値積分班は，「ネットワーク積分変換における数値積分理論の枠組探究」計画に沿って行動する．まず第1フェーズの実験結果を踏まえ有望な数値積分公式について積分変換の精密な誤差評価を行い理論基盤を創ろうとするものである．この段階においては数値解析学で知られた手法（函数論的・関数解析学的手法など）が有効であるが，さらに DNN の表す関数表現にとって適切な関数空間が何かを模索する．さらに，深さ方向には 1 段の最も簡易な場合しか考えられていないような既存研究の問題に対し段数を増やした積分変換と近似について検討する．
上記研究遂行全体を統合班が俯瞰し，両作業班の情報共有を促し全体として整合的な基盤確立を目指す．また統合班は随時，深層学習協力者と情報交換を行い専門家の示唆を導入する．
|
-
-
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] A structure-preserving scheme for the Allen?Cahn equation with a dynamic boundary condition2020
Author(s)
Okumura Makoto、,Department of Pure and Applied Mathematics, Graduate School of Information Science and Technology, Osaka University 1-5 Yamadaoka, Suita, Osaka 565-0871, Japan、Furihata Daisuke、,Cybermedia Center, Osaka University, 1-32 Machikaneyama, Toyonaka, Osaka 560-0043, Japan
-
Journal Title
Discrete & Continuous Dynamical Systems - A
Volume: 40
Pages: 4927～4960
DOI
Peer Reviewed
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
