| 研究課題/領域番号 |
18K19821
|
|---|
| 研究機関 | 奈良先端科学技術大学院大学 |
|---|
研究代表者 |
池田 和司 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (10262552)
|
|---|
| 研究期間 (年度) |
2018-06-29 – 2021-03-31
|
| キーワード | 深層学習 / ResNet / スキップコネクション / ドロップアウト / ストキャスティックデプス |
|---|
| 研究実績の概要 |
本研究は，現在は試行錯誤が中心の人工知能(AI)研究の転換をめざすものである．AIの中心である深層学習の中心は，独自のビッグデータと豊富な計算機資源及び人的資源を持つ巨大情報産業が先導しているが，これに対抗してAI研究をリードするために深層学習の要素技術を理論解析し，次世代直方人工知能の開発を目指す.深層学習におけるコア技術は，確率降下法，プレトレーニング，ドロップアウト，ショートカット，の4つである．本研究ではこれまでの機械学習アルゴリズムとの類似性から，情報理論，情報幾何学，統計的漸近論などを利用する予定であったが，近年，汎化ギャップを評価する方法，フィッシャー情報行列の固有値を評価する方法などにより，深層学習の性能を理論的に解析可能であることがわかった．
そこで近年特に注目されているResNetを中心的に研究し，ResNetの特徴であるショートカット(スキップコ ネクション)の有無が汎化能力に与える影響を評価した．その結果，ショートカットは汎化ギャップの上限を小さくすること，また1層ではなく2層をショートカットすることで上限はさらに小さくなることが示された．さらに，ドロップアウトとその亜種であるストキャスティックデプスについて，フィッシャー情報行列の固有値を評価した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
初の研究対象の4項目のうち，二つについて詳細に理論解析することができ，国内外で研究発表をするとともに，その成果は論文として採択された．したがって計画通りと言える．
|
| 今後の研究の推進方策 |
確率降下法，プレトレーニング，ドロップアウト，ショートカット，の4つを対象としており，これまでにドロップアウトおよびショートカットについての解析が終了した．近年はプレトレーニングは不要であり，むしろランダム初期化が大きな影響を与えると言われているので，その理論的な解析を進める．
|
| 次年度使用額が生じた理由 |
今年度は理論研究が進んだためそちらに注力し，研究員を雇用して実施する研究を次年度に実施することにした結果，人件費を次年度に繰り越すことになった．
|
