| 研究課題/領域番号 |
18K19821
|
|---|
| 研究機関 | 奈良先端科学技術大学院大学 |
|---|
研究代表者 |
池田 和司 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (10262552)
|
|---|
| 研究期間 (年度) |
2018-06-29 – 2021-03-31
|
| キーワード | 深層学習 / 機械学習 / 人工知能 / 統計的学習理論 |
|---|
| 研究実績の概要 |
本研究は，現在は試行錯誤が中心の人工知能(AI)研究の転換をめざすものである．AIの中心である深層学習の中心は，独自のビッグデータと豊富な計算機資源及び人的資源を持つ巨大情報産業が先導しているが，これに対抗してAI研究をリードするために深層学習の要素技術を理論解析し，次世代直方人工知能の開発を目指す．深層学習におけるコア技術は，確率降下法，プレトレーニング，ドロップアウト，ショートカット，の4つである．本研究ではこれまでの機械学習アルゴリズムとの類似性から，情報理論，情報幾何学，統計的漸近論などを利用する予定である．
従来のニューラルネット理論では「幅」が十分にあれば任意の連続関数を任意の精度で近似できることが知られていたが，深層学習に用いられるニューラルネットの特徴は「深さ」であるので，それが汎化性能に与える影響を調べた．本年は近年特に注目されているResNetを中心的に研究し，ショートカット（スキップコネクション）の有無が汎化能力に与える影響を評価したところ，スキップコネクションの有効性を定量的に示すことに成功した．
また，近年の研究動向を調査したところ，当初研究対象としていた確率降下法，プレトレーニング，ドロップアウト，ショートカット，の4つのうち，プレトレーニングやドロップアウトは近年はあまり使われない傾向がある．一方でバッチノーマリゼーションや新たな初期化方法などにより高い汎化能力が実現できるという報告があることがわかった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の研究対象の4項目のうち，一つについて詳細に理論解析することができ，国内外で研究発表をするとともに，論文執筆の準備まで完了している．したがって計画通りと言える．
|
| 今後の研究の推進方策 |
確率降下法，プレトレーニング，ドロップアウト，ショートカット，の4つを対象としていたが，近年はプレトレーニングやドロップアウトはあまり使われない傾向がある．一方で汎化能力を高めるバッチノーマリゼーションや新たな初期化方法などが提案されているので，研究対象をそちらに変更することも検討する．
|
| 次年度使用額が生じた理由 |
理論解析が順調に進んだ結果，当初購入予定であった計算機を利用した大規模計算機実験を来年度に延期することになった．
また，2018年度の国際会議で発表する予定だったが，2019年度初頭の国際会議に変更することとなったため，旅費も繰り越すこととなった．
|
