2023 Fiscal Year Annual Research Report
Creation of a foundation for a numerical approach to deep learning
| Project/Area Number |
20H01822
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
降籏 大介 大阪大学, サイバーメディアセンター, 教授 (80242014)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 宇泰 東京大学, 大学院情報理工学系研究科, 教授 (90293670)
田中 健一郎 東京大学, 大学院情報理工学系研究科, 准教授 (70610640)
宮武 勇登 大阪大学, サイバーメディアセンター, 准教授 (60757384)
佐藤 峻 東京大学, 大学院情報理工学系研究科, 助教 (40849072)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 数値解析 / 微分方程式 / 数値積分 / 関数近似 |
|---|
| Outline of Annual Research Achievements |
申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の２つの作業班を軸とし，それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり，そしていくつかのフェーズからなるものである．前年度までの計画第2フェーズに引き続き本計画最終フェーズである第3フェーズ「基盤に基づく発展的展開」に段階をすすめる形で統合班の指揮の下，全体が一体として協働し，以下の研究を行った．
まず「数値解析学的DNN構成法の探求」テーマについて数値微分方程式班と関数近似・数値積分班の協働により研究を推進した．内容としては前フェーズで得た数値微分方程式・数値積分班の成果を統合して数値解析学的の立場からDNNの構成法について統一的な枠組み構成について検討し，さらに構造保存解法に基づくDNN構築可能性を模索するものである．さらに，最悪誤差最小化公式をもつ最先端の数値積分手法に基づくDNN構築法を探求した．
さらに，「より複雑なDNNへの挑戦」テーマに主に関数近似・数値積分班が主導の形で研究に取組み，現状で提唱されている種々の複雑なDNNについて非一様格子上での適合的解釈を適用し，さらにモデル縮減によるスケーラブル解法や並列実行可能な手法を用いてこうした拡張の研究を行った．
また，「数値解析学へのフィードバックの挑戦」テーマに数値微分方程式班と関数近似・数値積分班が協働し研究を推進した．これは数値解析学で扱う近似精度に代わるDNN上の概念のフィードバックや，DNNがもつ積分変換としての性質の数値解析学へのフィードバックについての展開としての研究を進めた．
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
