本研究では,CNNの機能をできるだけ低下させずに,計算量を削減するCNNの圧縮問題を取り扱った.当初は、学習データに対して各チャネルがどのように反応するのかをベクトルで表現し、線形従属の関係にあるチャネルのうち一方を削除し、残されたチャネルで削除したチャネルの働きを肩代わりさせる手法を提案した.その後,削除したチャネルの働きを,残されたチャネルにかける全ての重みを変更する「再構築」によって,次層の誤差を最小化するREAPという方法に拡張した.さらに,ResNetを直列化して圧縮するSRN,各層ごとの際的な圧縮率の配分を求めるPROという方法を提案した.
|