2021 Fiscal Year Annual Research Report
Development of New Generation Artificial Intelligence Based on Theoretical Analyses of Deep Learning
| Project/Area Number |
18K19821
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
池田 和司 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (10262552)
|
|---|
| Project Period (FY) |
2018-06-29 – 2022-03-31
|
| Keywords | 学習曲線 / truncated data / Barron空間 |
|---|
| Outline of Annual Research Achievements |
本研究は、AI研究をリードするため、計算機資源とビッグデータに頼る従来の試行錯誤研究から脱却し、深層学習の要素技術を理論解析することで次世代脳型人工知能の開発を目指すものである。本研究ではこれまでの機械学習アルゴリズムとの類似性から、情報理論、情報幾何学、統計的漸近論などを利用する予定であったが、近年汎化ギャップを評価する方法、フィッシャー情報行列の固有値を評価する方法などにより、深層学習の性能を理論的に解析可能であることがわかったことから、近年特に注目されているResNetを中心的に研究し、ResNetの特徴であるショートカット(スキップコネクション)の有無が汎化能力に与える影響を評価してきた。その結果、ショートカットは汎化ギャップの上限を小さくすること、また1層ではなく2層をショートカットすることで上限はさらに小さくなることが示された。さらに、ドロップアウトとその亜種であるストキャスティックデプスについて、フィッシャー情報行列の固有値を評価した。
本年度はさらに2つの学習理論研究を推進した。一つ目は観測されるデータに偏りがある、truncted dataと呼ばれる状況における高次元データのスパース推定問題である。通常のLASSOによる正則化ではバイアスが残ることから、それを解決する方法として非凸正則化項を利用し、それを効率的に計算する方法を提案するとともに収束性に関する理論的な解析を行った。その結果、提案手法はLASSOよりもよい性質を持つことが示され、これは計算機実験でも実証された。二つ目はニューラルネットワークの学習曲線であり、真の関数がBarron空間と呼ばれる関数クラスの場合の収束性を理論的に評価した。その結果、パラメータ最適化により従来よりタイトな誤差上限が実現できることが示された。
|
