|
本研究の目的はモデルアーキテクチャの観点から無駄な計算を削減しハードウエア的に実装しやすい手法を探ることである。コンボリューショナルニューラルネットワークにおいてチャネル方向の次元に冗長性が大きく、この方向の次元削減が、１）精度を落とさずパラメータを削減できる最も効率の良い手段である、２）ハードウエア実装の点でも貢献度が少ないチャナネルを刈り取ることは比較的容易であるとの検討結果を得た。本研究ではアテンション手法に注力し、１）チャネルアテンション、２）空間アテンションによる効果の確認を実施した。実験においては、パラメータ数を削減するのに欠かせない1ビットへの量子化を前提に実施した。1ビットの量子化により学習曲線が不安定になり誤差が減少するエポック数が大きくなる課題があるので、本研究では、アテンション機構を改良し学習曲線を高速化することも実現した。実際にはSE-ResNet Attention アルゴリズムを用いて実験した。実験結果の考察からAttentionすべき特徴マップの決定プロセスにバイナリー法を用いることで、Attentionすべきベクトルの決定が速くなり学習曲線を高速化することにつながることを明らかにした。ResNetの構成を独自にコンパクトにしたResNet14構成の3ブロックで平均チャネル削減割合が約50％になり、パラメータの削減可能なことを明確にした。SVHNやCiFAR10のデータセットにおいても同様の結果が得られた。さらに、説明可能な効果を明らかにするために Eigen CAMを用いて本研究手法が空間的にも適切なAttentionを獲得していることを確認した。この結果は2本の国際学会発表と2本のジャーナル発表につながった。
|
