| 研究実績の概要 |
近年, 画像認識の分野で広く利用されている畳み込みニューラルネットワークにはパラメータ数や乗算数が多い問題がある. これらを解決するため, 畳み込み層ではなく摂動層を用いた Perturbative Neural Networks(PNN) が提案されている. 本稿では 1 層目を畳み込み層とした PNN を提案し, PNN に比べて分類精度が CIFAR-10 では 13.8%, CIFAR-100 では 29.1%向上した.画像認識の分野で広く利用されている畳込みニューラルネットワーク(CNN: Convolutional Neural Network)は重みの数や乗算数が多いという問題がある.
これらを解決するため, 本論文では雑音付加とpoint-wise(1x1)畳込みを組み合わせた雑音畳込み層を用いる.既存研究の解析から, 雑音畳込み層だけでは入力データは偏っているため認識精度が低下することが判明している.
今年度では, k層までを既存の畳込み層で実現し, k+1層以降を雑音畳込み層で実現するNoise Convolutional Neural Network(NCNN)を提案する.これにより, 大部分の畳込み層を1×1畳込み層に換えることで重みの数と乗算数を削減しつつ, 雑音を加えることで認識精度劣化を抑えることができる. NCNNと既存CNNの認識精度とパラメータ(重み)量の比較を行った.CIFAR-100データセットに関して, AlexNetではパラメータを88%, ResNet-18では96.2%削減できた一方, 認識精度に関してはAlexNetでは2.2%, ResNet-18では1.8%に抑えることができた.また, 今年度では提案するNCNNを効率よく実行するアーキテクチャについて述べる.NCNNではk+1層以降はpoint-wise畳込みのみ行われるため, 複雑なメモリアクセスアーキテクチャは不要であり, 単純かつ高速なアーキテクチャで実現可能である.提案NCNNをXilinx社ZCU102 FPGA評価ボード上に実装した結果, クラス分類タスクに関してはBinary CNNと比較して同程度の速度を達成しつつ, 認識精度が約10%優れていた.
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
当初の計画に比較してデータを用いた実証に成功した。具体的には、以下の通りです。
PNN は CNN と比べて, ResNet-18 において, accuracy が CIFAR-10 では 0.8%下がり, CIFAR-100では 1.6%上がり, パラメータ数が 8.6 分の 1 に減り,学習時間が 22%減る. また, VGG-16 において, accuracy が CIFAR-10 では 15.9%下がり, CIFAR-100 では 28.7%下がり, パラメータ数が 6.9 分の 1 に減り,学習時間が 41%減る.今年度では, 1 層目を畳み込み層とした PNN を提案し, VGG-16 において, PNN に比 べて accuracyが CIFAR-10 では 13.8%, CIFAR-100 では 29.1%上がる. 提案手法では CNN に比べて同等の精度を保ちながらパラメータ数や乗算の数を大きく短縮できたため。
|
