| 研究課題/領域番号 |
20H01822
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分12040:応用数学および統計数学関連
|
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
降籏 大介 大阪大学, サイバーメディアセンター, 教授 (80242014)
|
|---|
| 研究分担者 |
松尾 宇泰 東京大学, 大学院情報理工学系研究科, 教授 (90293670)
田中 健一郎 東京大学, 大学院情報理工学系研究科, 准教授 (70610640)
宮武 勇登 大阪大学, サイバーメディアセンター, 准教授 (60757384)
佐藤 峻 東京大学, 大学院情報理工学系研究科, 助教 (40849072)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2023年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2022年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
2021年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2020年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
|
|---|
| キーワード | 深層学習 / 数値解析的アプローチ / ニューラルネットワーク / 数値解析 / 微分方程式 / 数値積分 / 関数近似 |
|---|
| 研究開始時の研究の概要 |
深層学習の理論的背景はその成果に比して弱く，確立が強く望まれる．
これに対し近年，ネットワークの表現能力，連続極限による力学系との対応などによる理論的研究があり，微分方程式数値解法や関数近似・数値積分等との関連性が指摘され，この方向での可能性に期待が高まっている．
本研究は，数値解析学者の立場からこの視座を改めて理解・整理し，深層学習に対する，数値解析学的アプローチ基盤を創出して深層学習理解・発展をより加速すること，および新しい応用分野の導入によるフィードバックで数値解析学に新展開をもたらすことで，第四の科学時代における応用数学・数理科学自身の発展を狙うものである．
|
| 研究実績の概要 |
申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の２つの作業班を軸とし，それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり，そしていくつかのフェーズからなるものである．そして第１フェーズは統合班の指揮の下，各班で以下の実験的研究を行う予定であった．
まず，数値微分方程式班は「微分方程式の数値解法に基づく実験的DNN構築」を標語として計画を構成していた．これは，ResNet だけでなく類似 DNN （PolyNet，FractalNet等）も数値解法と関連づけられる可能性が示唆されていたがその先にある「数値解法から生まれる新DNN」は極めて最近調査が始まったばかりであることから，数値解析学の観点から，実際に新しいDNNを構築し画像認識等でその性能を評価するものであった（例えば異なる近似精度のRunge-Kutta法を試し性能を比較する）．これらの計画に対し該当班は予備的な調査過程として実験的DNNを構築しその性能評価等を開始している．
また，関数近似・数値積分班は「数値積分公式に基づく実験的DNN構築」という標語のもとに計画をたてていた．これは，数値積分公式に基づく観点からの新たなDNN構築の可能性が未解明であることから種々の数値積分公式の適用・開発によるこの可能性を調べるものである．本申請グループにはすでにその試みの実績がある（たとえば，一段NNにおける被積分関数に対して適切な重み・分点の組を数値解析学的に定めるアルゴリズムを考案している）ことからこの方向性で研究を発展，推進するものである．そして実際，DNNにどのような公式が真に有用であるかについて検証が必要であることから本段階でこの検証に取り掛かり，新たなDNNの構築に向けて検討を繰り返しているところである．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
申請計画にある本研究計画に沿って2つの班が予備調査・実験的段階である第1フェーズ計画を推進する予定であったが，研究実績欄で述べているように当フェーズにおいては計画に沿って十全に研究を推進することが出来た．よって順調な進展であると判断する次第である．
|
| 今後の研究の推進方策 |
第１フェーズで一定の進展があることから，計画通り統合班の指揮の下第2フェーズへの進展を考える．第２フェーズは「数値解析学的アプローチ基盤の構築」であり，数学的基盤を創ることを試みるものである．
まず，数値微分方程式班は「ネットワークの数値微分方程式表現の枠組探究」計画に沿って，後退誤差解析に基づいて DNNと背後の力学系を同時に理解する基盤を構成する試みから開始する．その後その結果に基づき数値解法の諸概念（解法の陽的・陰的，安定性，近似精度等）と DNN の対応を明らかにする．例えば既存研究で PolyNet が陰的 Euler 法相当であるとするものがあるが，この指摘は修正を要するためこうした研究が必要である．そしてさらに，構造保存解法の選択可能性を検討する．例えば既存研究に画像ラベリング等における有意なクラスタリングのために Hamilton 系が優位である可能性を指摘しているものがあるが，それに対するシンプレクティック解法等が優位である可能性がある．
そして関数近似・数値積分班は，「ネットワーク積分変換における数値積分理論の枠組探究」計画に沿って行動する．まず第1フェーズの実験結果を踏まえ有望な数値積分公式について積分変換の精密な誤差評価を行い理論基盤を創ろうとするものである．この段階においては数値解析学で知られた手法（函数論的・関数解析学的手法など）が有効であるが，さらに DNN の表す関数表現にとって適切な関数空間が何かを模索する．さらに，深さ方向には 1 段の最も簡易な場合しか考えられていないような既存研究の問題に対し段数を増やした積分変換と近似について検討する．
上記研究遂行全体を統合班が俯瞰し，両作業班の情報共有を促し全体として整合的な基盤確立を目指す．また統合班は随時，深層学習協力者と情報交換を行い専門家の示唆を導入する．
|
