2021 年度研究成果報告書

深層学習の理論解析による次世代脳型人工知能技術の開発

研究課題

PDF

研究課題/領域番号	18K19821
研究種目	挑戦的研究(萌芽)
配分区分	基金
審査区分	中区分61:人間情報学およびその関連分野
研究機関	奈良先端科学技術大学院大学
研究代表者	池田和司奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (10262552)
研究期間 (年度)	2018-06-29 – 2022-03-31
キーワード	深層学習 / ResNet / 汎化ギャップ
研究成果の概要	本研究は、深層学習の要素技術を理論解析することで、計算機資源とビッグデータに頼る従来の試行錯誤研究から脱却し、次世代脳型人工知能の開発を目指したものである。ブラックボックスと言われる深層学習であるが、その性能の一部は理論的に解析可能である。近年の深層学習の主流であるResNetを解析したところ、ResNetの特徴であるショートカットが汎化ギャップの上限を小さくすること、また1層ではなく2層をショートカットすることで上限はさらに小さくなることが示された。またその他の技術についても理論的な評価が与えられ、これらの結果は深層学習の設計指針に有効である。
自由記述の分野	機械学習
研究成果の学術的意義や社会的意義	深層学習がこれほど注目されているにもかかわらず、その理論的背景は明らかではなかった。その原因の一つは、深層学習は構造的には1980 年代のネオコグニトロンと同等であり、その学習方法にプレトレーニングやドロップアウト，あるいは確率降下法などのヒューリスティックな工夫を組み合わせたもので、どの要素がどのような効果を持つのかがわかりにくかったためである。日本神経回路学会などでもBeyond Deep Learningが議論されるなど、次世代脳型人工知能の開発にはまず深層学習の仕組みを明らかにする必要があり、本研究によりいくつかの要素技術の本質的な役割が解明された。