2018 Fiscal Year Research-status Report
| Project/Area Number |
18K19785
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
岩村 雅一 大阪府立大学, 工学(系)研究科(研究院), 准教授 (80361129)
|
|---|
| Project Period (FY) |
2018-06-29 – 2020-03-31
|
| Keywords | 深層学習 / 物体認識 / 学習の阻害 / 正則化 |
|---|
| Outline of Annual Research Achievements |
本年度は、我々が提案したShakeDropという「学習の阻害」を利用して物体認識の認識精度を向上させる正則化手法の解析と大規模な実験を行った。
提案手法は、従来手法であるShake-Shakeと同様に、ニューラルネットワークのフォワードパスとバックワードパスで異なる乱数を用いて学習を阻害するが、いずれの手法もどうしてこれで認識精度が向上するのかが不明であった。この問題に対して、最近の研究成果によって得られた知見から、いずれの手法もフォワードパスでは特徴に乱数による外乱を加えることで新たなデータを合成しているという解釈を与えた。また、提案手法は、ニューラルネットワークの1本の分岐しか外乱を与えるのに使わないために適用可能なネットワークが多いが、2本の分岐のShake-Shakeの方が提案手法よりも処理が安定しているという、実験結果に基づく解釈も与えた。そして、Shake-Shakeよりも不安定な提案手法をどのように安定させているかについて説明した。
前述の解釈を与えるために、提案手法が有効なパラメータを実験的に探索したところ、新しい有効なパラメータセットが見つかった。これまではネットワークのResidual Blockと呼ばれる処理ブロックの最後にRectified Linear Unit (ReLU)があるとうまく動作しないと考えていたが、新しいパラメータセットを使うことで、最後にReLUがあっても良いということがわかった。これに基づき、計算機資源の関係で、従来はCIFAR-10/100という比較的小規模なデータセットにおいてのみの実験をしていたが、当該分野で標準的に使われているImageNetというデータセットでの実験を実施して、提案手法の有効性を確認した。さらに、提案手法は深いネットワークでより高い性能を発揮することを実験的に確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究実績の概要に記した通り、当初計画していたShakeDropがニューラルネットワークで有効に働く理由の理論的解明ならびに大規模な実験による検証が概ね実施できたため。
|
| Strategy for Future Research Activity |
本研究でこれまで研究してきたShakeDropは、乱数によって特徴に外乱を加えて、未知のデータを合成している手法であった。すなわち、データセットに含まれている画像とクラスラベルの組のうち、画像のみに工夫を施していた。正則化にはクラスラベルに対する工夫で性能向上を目指すものもあり、今後はクラスラベルの工夫の効果を検証し、可能であればShakeDropとのシナジー効果も検証する。
|
| Causes of Carryover |
当初は予算のほとんどをGPUサーバの購入に充てる予定であったが、同様にGPUサーバが必要な他予算との合算によりGPUサーバを調達することにしたため、また研究補助員の雇用が必要になったために、研究費の使用計画を変更した。次年度は国際会議への出席や研究補助員の雇用に用いる。
|
Research Products
(2 results)
