2019 Fiscal Year Research-status Report
Development of New Generation Artificial Intelligence Based on Theoretical Analyses of Deep Learning
| Project/Area Number |
18K19821
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
池田 和司 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (10262552)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 深層学習 / ResNet / スキップコネクション / ドロップアウト / ストキャスティックデプス |
|---|
| Outline of Annual Research Achievements |
本研究は，現在は試行錯誤が中心の人工知能(AI)研究の転換をめざすものである．AIの中心である深層学習の中心は，独自のビッグデータと豊富な計算機資源及び人的資源を持つ巨大情報産業が先導しているが，これに対抗してAI研究をリードするために深層学習の要素技術を理論解析し，次世代直方人工知能の開発を目指す.深層学習におけるコア技術は，確率降下法，プレトレーニング，ドロップアウト，ショートカット，の4つである．本研究ではこれまでの機械学習アルゴリズムとの類似性から，情報理論，情報幾何学，統計的漸近論などを利用する予定であったが，近年，汎化ギャップを評価する方法，フィッシャー情報行列の固有値を評価する方法などにより，深層学習の性能を理論的に解析可能であることがわかった．
そこで近年特に注目されているResNetを中心的に研究し，ResNetの特徴であるショートカット(スキップコ ネクション)の有無が汎化能力に与える影響を評価した．その結果，ショートカットは汎化ギャップの上限を小さくすること，また1層ではなく2層をショートカットすることで上限はさらに小さくなることが示された．さらに，ドロップアウトとその亜種であるストキャスティックデプスについて，フィッシャー情報行列の固有値を評価した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初の研究対象の4項目のうち，二つについて詳細に理論解析することができ，国内外で研究発表をするとともに，その成果は論文として採択された．したがって計画通りと言える．
|
| Strategy for Future Research Activity |
確率降下法，プレトレーニング，ドロップアウト，ショートカット，の4つを対象としており，これまでにドロップアウトおよびショートカットについての解析が終了した．近年はプレトレーニングは不要であり，むしろランダム初期化が大きな影響を与えると言われているので，その理論的な解析を進める．
|
| Causes of Carryover |
今年度は理論研究が進んだためそちらに注力し，研究員を雇用して実施する研究を次年度に実施することにした結果，人件費を次年度に繰り越すことになった．
|
