| Project/Area Number |
18J15055
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Intelligent informatics
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
古庄 泰隆 奈良先端科学技術大学院大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2018-04-25 – 2020-03-31
|
| Project Status |
Completed (Fiscal Year 2019)
|
| Budget Amount *help |
¥1,900,000 (Direct Cost: ¥1,900,000)
Fiscal Year 2019: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2018: ¥1,000,000 (Direct Cost: ¥1,000,000)
|
|---|
| Keywords | ニューラルネットワーク / ResNet / バッチ正規化 / ディープニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
ディープニューラルネットワーク(DNN)は物体認識から囲碁のプレイングまで幅広い分野で目覚ましい成果を上げており現在もっとも注目されている分野である。近年のDNNの成功はそのアーキテクチャと最適化アルゴリズムに起因するが、その理論的な性質は十分にあきらかでなかった。本研究ではこのDNNアーキテクチャや最適化アルゴリズムがその性能に及ぼす影響を解析し、適切なアーキテクチャや最適化アルゴリズムのハイパーパラメータを調査した。
まず近年提案されたアーキテクチャであるResNetが従来のアーキテクチャである多層パーセプトロン(MLP)よりも高い汎化性能を持つことを示した。MLPは複数の層を直列に繋げたアーキテクチャで、与えられた入力はそれらの層を経て変換され出力される。一方でResNetは各層間にショートカットを導入し層をスキップするアーキテクチャを持つ。これにより訓練データの変化に出力が頑強になり高い汎化性能を達成出来る。さらにResNetのショートカットは1層だけスキップするよりも2層スキップするほうが高い汎化性能を持つことを示した。
次にResNetを学習する際はバッチ正規化により勾配降下法で高い学習率が使えることを示した。具体的には学習が発散しないようにResNetは層の数に対して学習率を指数的に小さくする必要があるが、バッチ正規化により指数的な減少を多項式に抑えることができる。この結果高い学習率が使え学習が高速化する。
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
