Development of New Generation Artificial Intelligence Based on Theoretical Analyses of Deep Learning
| Project/Area Number |
18K19821
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
Ikeda Kazushi 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (10262552)
|
|---|
| Project Period (FY) |
2018-06-29 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2018: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
|
|---|
| Keywords | 深層学習 / ResNet / 汎化ギャップ / 学習曲線 / truncated data / Barron空間 / トラッキング / グラフ信号処理 / スキップコネクション / ドロップアウト / ストキャスティックデプス / 機械学習 / 人工知能 / 統計的学習理論 / 学習理論 / 統計的漸近論 / 情報幾何学 |
|---|
| Outline of Final Research Achievements |
The purpose of this project is to analyze the effects of heuristic techniques for deep learning from the theoretical viewpoint since the theoretical results give insight to design a better/more efficient neural network/learning algorithm. Our analysis on a ResNet shows that shortcuts in a ResNet decrease an upper bound of the generalization cap and that a ResNet with two-layer skips has a lower upper-bound than one with one-layer skips. Some other heuristics are analyzed and they are also useful for the design of deep learning.
|
| Academic Significance and Societal Importance of the Research Achievements |
深層学習がこれほど注目されているにもかかわらず、その理論的背景は明らかではなかった。その原因の一つは、深層学習は構造的には1980 年代のネオコグニトロンと同等であり、その学習方法にプレトレーニングやドロップアウト，あるいは確率降下法などのヒューリスティックな工夫を組み合わせたもので、どの要素がどのような効果を持つのかがわかりにくかったためである。日本神経回路学会などでもBeyond Deep Learningが議論されるなど、次世代脳型人工知能の開発にはまず深層学習の仕組みを明らかにする必要があり、本研究によりいくつかの要素技術の本質的な役割が解明された。
|
Report
(5 results)
Research Products
(26 results)
