複数のニューラルネットワークモデルを切り替えつつ必要なモデルと写像を獲得する学習過程を「動的モデル学習」として整理し,特に切り替え後のモデルと写像の選択について,学習効率と圧縮後の性能の観点から多角的に検討を行った.畳み込みニューラルネットワークを用いた画像認識問題において,多段階のモデル圧縮手法や,蒸留において有益な性質を選択的に転移させる手法を提案し,モデルの規模を徐々に変化させて切り替えていくことや,切り替え後写像の選択基準の工夫により圧縮後の性能向上が可能であることなどを示した.また,マルチモーダルなパターン分類における効率的なモーダリティ選択法を提案し,その有効性を示した.
|