2020 Fiscal Year Annual Research Report
A study on acquisition of intermediate representations using context and top-down information for image recognition
| Project/Area Number |
16K00239
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
栗田 多喜夫 広島大学, 先進理工系科学研究科(工), 教授 (10356941)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日高 章理 東京電機大学, 理工学部, 准教授 (70553519)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | 画像認識 / 機械学習 / 人工知能 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
深層学習(Deep Learning)，特に，Deep Convolutional Neural Networkを用いることで画像認識の性能が飛躍的に向上した．本研究課題では，ニューラルネットワークの学習法に関する知見や脳の視覚情報処理に関する知見を取り入れた画像認識の研究を発展させ，深層学習を用いた画像認識等の応用の拡大を目指している．
今年度は，汎化性能の高いモデルを学習するために，学習済みのニューラルネットワークから不要なニューロンを削除するためのPruning手法や最適なニューラルネットワークの構造を探索する方法について検討した．具体的には，ミニバッチ内での極端な値にも頑健な評価方法を提案し，Pruning手法に利用した．また，階層的なグループLassoを利用して，不要なニューロンのパラメータを無視するよう学習する手法を提案した．さらには，不要なニューロンを削除するだけでなく，必要なニューロンを追加することで，最適なニューラルネットワーク構造を探索する手法についても検討した．その他，学習済みの高性能な大規模ニューラルネットワーク（教師ネットワーク）の振る舞いを小規模なネットワーク（学生ネットワーク）で模倣する学習法（Knowledge Distillation）にTriplet Lossを導入し，入出力を模倣するだけでなく，異なるクラスのサンプルは遠ざけるようにすることで性能が向上することを確認した．
また，不完全な教師信号での学習法を開発した．具体的には，Graph Label Propagationを利用して，教師ラベルに誤りを含む場合の学習法を提案した．また，教師信号として年代しか与えられていない場合の顔画像からの年齢推定の手法を提案した．
|
