2021 Fiscal Year Annual Research Report
Creation of a foundation for a numerical approach to deep learning
| Project/Area Number |
20H01822
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
降籏 大介 大阪大学, サイバーメディアセンター, 教授 (80242014)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 宇泰 東京大学, 大学院情報理工学系研究科, 教授 (90293670)
田中 健一郎 東京大学, 大学院情報理工学系研究科, 准教授 (70610640)
宮武 勇登 大阪大学, サイバーメディアセンター, 准教授 (60757384)
佐藤 峻 東京大学, 大学院情報理工学系研究科, 助教 (40849072)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 数値解析 / 微分方程式 / 数値積分 / 関数近似 |
|---|
| Outline of Annual Research Achievements |
申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の２つの作業班を軸とし，それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり，そしていくつかのフェーズからなるものである．前年度にひきつづき計画第１フェーズをすすめる形で統合班の指揮の下，各班で以下の実験的研究を行った．
数値微分方程式班は「微分方程式の数値解法に基づく実験的DNN構築」テーマについて引き続き研究を推進した．ResNet および類似 DNN も数値解法と関連づけられる可能性が示唆されていたことを受け，その先にある「数値解法から生まれる新DNN」について最近始まった調査について数値解析学の観点から実際に新しいDNNを構築し画像認識等でその性能を評価を開始する計画に沿って進めた．これは異なる近似精度のRunge-Kutta法を試し性能を比較することなどによるものである．これらのプランに対し該当班は継続的に調査過程として実験的DNNを構築し，その性能評価等を遂行している．
関数近似・数値積分班は「数値積分公式に基づく実験的DNN構築」テーマに沿って引き続き研究を推進した．これ，数値積分公式に基づいて新しい DNN 構築の可能性が鑑みられることに着目し，種々の数値積分公式の適用・開発によってその可能性を模索するものである．本申請グループにはすでにその試みの実績があることと前年度の研究成果を基にこの方向性で研究を発展，推進するものである．そして DNN に適切な公式についての検証が必要であるためその過程に進み，新しいタイプの DNN 構築に向けて調査と検証を繰り返しているところである．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請計画にある本研究計画に沿って2つの班が予備調査・実験的段階である第1フェーズ計画を引き続き推進する予定であった．上記の研究実績欄で述べているように，当フェーズにおいては計画に沿って十全に研究を推進することが出来たと考える．よって順調な進展であると判断する次第である．
|
| Strategy for Future Research Activity |
前年度より進めていた第１フェーズにおける研究過程で一定の進展があることより，計画を次の段階へ進め，統合班の指揮の下第2フェーズへの進展を考える．第２フェーズは「数値解析学的アプローチ基盤の構築」をテーマとし，数学的基盤を創ることを試みるものである．
数値微分方程式班は「ネットワークの数値微分方程式表現の枠組探究」テーマに基づき，後退誤差解析を用いて DNN と背後力学系の共通理解基盤を構成する試みを開始する．その成果により，数値解法の解法の陽的・陰的，安定性，近似精度等といった概念と DNN の数学的対応を求めるものである．既存研究が PolyNet が陰的 Euler 法相当であることを主張しているが，この主張には修正が必要であるとわれわれはみており，そのためにもこの研究が重要である．また構造保存解法の選択可能性の模索の研究を推進する．既存研究にはクラスタリングに Hamilton 系の概念を導入することの意義を示すものがあり，これはシンプレクティック解法等の数学的な優位性をもたらす可能性を見いだせる．
関数近似・数値積分班は「ネットワーク積分変換における数値積分理論の枠組探究」テーマに基づいて計画を推進する．前年度までの第1フェーズの成果を踏まえ，適切と思われる数値積分公式における積分変換の誤差評価に基づいて理論基盤を創る目的がある．この段階において函数論的・関数解析学的な手法が有効と思われ，DNN の表す関数表現の適切な関数空間を見出す試みを行う．また，深さ方向に 1段しか考えられていない簡潔な既存研究の問題に段数を増やした積分変換と近似について調査する．
上記研究遂行全体を統合班が俯瞰し，両作業班の情報共有を促し全体として整合的な基盤確立を目指す．また統合班は随時，深層学習協力者と情報交換を行い専門家の示唆を導入する．
|
