2022 Fiscal Year Annual Research Report
Creation of a foundation for a numerical approach to deep learning
| Project/Area Number |
20H01822
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
降籏 大介 大阪大学, サイバーメディアセンター, 教授 (80242014)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 宇泰 東京大学, 大学院情報理工学系研究科, 教授 (90293670)
田中 健一郎 東京大学, 大学院情報理工学系研究科, 准教授 (70610640)
宮武 勇登 大阪大学, サイバーメディアセンター, 准教授 (60757384)
佐藤 峻 東京大学, 大学院情報理工学系研究科, 助教 (40849072)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 数値解析 / 微分方程式 / 数値積分 / 関数近似 |
|---|
| Outline of Annual Research Achievements |
申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の２つの作業班を軸とし，それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり，そしていくつかのフェーズからなるものである．前年度までの計画第１フェーズに引き続き第２フェーズ「数値解析学的アプローチ基盤の構築」に段階をすすめる形で統合班の指揮の下，各班で以下の実験的研究を行った．
まず数値微分方程式班は「ネットワークの数値微分方程式表現の枠組探究」テーマについて研究を開始，推進した．内容としては後退誤差解析に基づいて DNN と背後の力学系を同時に理解する基盤を作ること，そしてこの成果に基づいて，解法の陽的・陰的，安定性，近似精度などの数値解法の概念が DNN に対応する数学的対象・性質をを明らかにすることである．なお既存の研究では PolyNet が陰的 Euler 法としての解釈できると主張しているが厳密ではなく，この成果によって修正を要するとみている． さらに構造保存解法を選択する可能性についての検討も行った．これはクラスタリングのために Hamilton 系が優位である可能性が指摘されていることからシンプレクティック解法等の有効性が期待されていたためである．
関数近似・数値積分班は「ネットワーク積分変換における数値積分理論の枠組探究」テーマに沿って研究を推進した．内容としては前フェーズの実験結果を踏まえて有望と思われる数値積分公式について積分変換における精密な誤差評価を行い理論基盤を創ることがまず挙げられる．このとき．函数論的・関数解析学的手法などが有効であった．また， DNN の関数表現にとって適切な関数空間の模索も行った．そして，これまで既存研究では深さ方向が 1段の場合しか考えられていなかったが段数を増やした場合の積分変換とその近似についても研究を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請計画にある本研究計画に沿って2つの班が予備調査・実験的段階である第1フェーズ計画を引き続き推進し，かつ第２フェーズに計画を進める予定であった．上記の研究実績欄で述べているように，当フェーズにおいては計画に沿って十全に研究を推進することが出来たと考える．よって順調な進展であると判断する次第である．
|
| Strategy for Future Research Activity |
前年度より進めていた第１フェーズ，第２フェーズにおける研究過程で一定の進展があることより，計画を次の段階へ進め，統合班の指揮の下第３フェーズへの進展を考える．第３フェーズは「基盤に基づく発展的展開」をテーマとし，これまでの成果に基づくアプローチ基盤があって初めて得られる理論的結果・新 DNN 等の展開を目指すものである．
関数近似・数値積分班は「数値解析学的 DNN 構成法の探究」テーマと「数値解析学へのフィードバックの挑戦」テーマに基づいて研究を推進する．これらは，前フェーズで数値微分方程式・数値積分班に分かれて検討した本視点を統合し，数値解析学の立場から DNN の構成法について統一的な枠組が構成できるか検討するもの，さらに構造保存解法・最先端数値積分手法に基づく DNN 構築の可能性を探究するものである．また，微分方程式の数値解法における「近似精度」の概念は DNN では有効でなくなる蓋然性が高いことから新たに導入すべき新概念がありうること，DNN を積分変換と捉える解釈は関数近似手法を与えるが，数値解析学の標準的関数近似手法とは異なることから新展開を期待できる事が挙げられる．
そして数値微分方程式班は上記の２つのテーマに加えて「より複雑な DNN への挑戦」テーマにも取り組む．これは LeNet，DenseNet などの豊かな構造の探究成果にならい，時間・空間非一様格子の数値解法としての解釈や，複雑構造 DNN を「非一様格子上での適合的解法」として理解し拡張すること，スケーラブル・並列化構造保存解法による DNN 構築：申請者によるモデル縮減に基づくスケーラブル解法，並列実行可能な手法等を拡張して DNN のスケーラビリティや幅方向並列性を探究すること，などが内容となっている．
|
