| Project/Area Number |
20H01822
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 12040:Applied mathematics and statistics-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
Furihata Daisuke 大阪大学, サイバーメディアセンター, 教授 (80242014)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 宇泰 東京大学, 大学院情報理工学系研究科, 教授 (90293670)
田中 健一郎 東京大学, 大学院情報理工学系研究科, 准教授 (70610640)
宮武 勇登 大阪大学, サイバーメディアセンター, 准教授 (60757384)
佐藤 峻 東京大学, 大学院情報理工学系研究科, 助教 (40849072)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2023: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2021: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
|
|---|
| Keywords | 深層学習 / 数値解析 / 微分方程式 / 数値積分 / 関数近似 / 数値解析的アプローチ / ニューラルネットワーク |
|---|
| Outline of Research at the Start |
深層学習の理論的背景はその成果に比して弱く，確立が強く望まれる．
これに対し近年，ネットワークの表現能力，連続極限による力学系との対応などによる理論的研究があり，微分方程式数値解法や関数近似・数値積分等との関連性が指摘され，この方向での可能性に期待が高まっている．
本研究は，数値解析学者の立場からこの視座を改めて理解・整理し，深層学習に対する，数値解析学的アプローチ基盤を創出して深層学習理解・発展をより加速すること，および新しい応用分野の導入によるフィードバックで数値解析学に新展開をもたらすことで，第四の科学時代における応用数学・数理科学自身の発展を狙うものである．
|
| Outline of Final Research Achievements |
We constructed new DNNs such as ResNet from the perspective of numerical analysis, evaluated their performance using different numerical solution methods and image recognition, and studied the basis for understanding DNNs and the underlying dynamical systems through backward error analysis of the numerical differential equation representation of the network, and investigated the numerical analytical conceptual equivalents in DNNs.
We also verified appropriate formulas as part of our research into experimental DNN construction based on numerical integration formulas and explored the framework of numerical integration theory in network integral transforms. We evaluated the integral transform error of the numerical integration formula to create a theoretical foundation and studied appropriate function spaces for DNN function representations. We also researched integral transform approximations with more in-depth stages than existing research.
|
| Academic Significance and Societal Importance of the Research Achievements |
深層学習において，その理論的背景を明らかにすることは近年の大きな課題である．
これに対しネットワークの表現，力学系との連続極限対応などの理論的研究があり，微分方程式数値解法や関数近似・数値積分など数値解析学視点の重要性が深層学習研究者たちによって指摘され，問題解決可能性に期待が高まっている．
本研究成果は，数値解析学者の視座から現状況を改めて理解・整理し，深層学習に対する数値解析学的アプローチ基盤を創出して深層学習理解を発展させること，逆のフィードバックで数値解析学に新展開をもたらすことで第四の科学時代における応用数学・数理科学自身の発展に寄与するもので，まさにこの期待に応えたものである．
|
