| 研究課題/領域番号 |
18J15055
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 国内 |
|---|
| 研究分野 |
知能情報学
|
|---|
| 研究機関 | 奈良先端科学技術大学院大学 |
|---|
研究代表者 |
古庄 泰隆 奈良先端科学技術大学院大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| 研究期間 (年度) |
2018-04-25 – 2020-03-31
|
| 研究課題ステータス |
完了 (2019年度)
|
| 配分額 *注記 |
1,900千円 (直接経費: 1,900千円)
2019年度: 900千円 (直接経費: 900千円)
2018年度: 1,000千円 (直接経費: 1,000千円)
|
|---|
| キーワード | ニューラルネットワーク / ResNet / バッチ正規化 / ディープニューラルネットワーク |
|---|
| 研究実績の概要 |
ディープニューラルネットワーク(DNN)は物体認識から囲碁のプレイングまで幅広い分野で目覚ましい成果を上げており現在もっとも注目されている分野である。近年のDNNの成功はそのアーキテクチャと最適化アルゴリズムに起因するが、その理論的な性質は十分にあきらかでなかった。本研究ではこのDNNアーキテクチャや最適化アルゴリズムがその性能に及ぼす影響を解析し、適切なアーキテクチャや最適化アルゴリズムのハイパーパラメータを調査した。
まず近年提案されたアーキテクチャであるResNetが従来のアーキテクチャである多層パーセプトロン(MLP)よりも高い汎化性能を持つことを示した。MLPは複数の層を直列に繋げたアーキテクチャで、与えられた入力はそれらの層を経て変換され出力される。一方でResNetは各層間にショートカットを導入し層をスキップするアーキテクチャを持つ。これにより訓練データの変化に出力が頑強になり高い汎化性能を達成出来る。さらにResNetのショートカットは1層だけスキップするよりも2層スキップするほうが高い汎化性能を持つことを示した。
次にResNetを学習する際はバッチ正規化により勾配降下法で高い学習率が使えることを示した。具体的には学習が発散しないようにResNetは層の数に対して学習率を指数的に小さくする必要があるが、バッチ正規化により指数的な減少を多項式に抑えることができる。この結果高い学習率が使え学習が高速化する。
|
| 現在までの達成度 (段落) |
令和元年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和元年度が最終年度であるため、記入しない。
|
