2019 Fiscal Year Annual Research Report
On a noise convolutional neural network
| Project/Area Number |
19H04078
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
中原 啓貴 東京工業大学, 工学院, 准教授 (20624414)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐野 健太郎 国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (00323048)
佐藤 真平 東京工業大学, 工学院, 助教 (80782763)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | Deep Learning / CNN / FPGA |
|---|
| Outline of Annual Research Achievements |
近年, 画像認識の分野で広く利用されている畳み込みニューラルネットワークにはパラメータ数や乗算数が多い問題がある. これらを解決するため, 畳み込み層ではなく摂動層を用いた Perturbative Neural Networks(PNN) が提案されている. 本稿では 1 層目を畳み込み層とした PNN を提案し, PNN に比べて分類精度が CIFAR-10 では 13.8%, CIFAR-100 では 29.1%向上した.画像認識の分野で広く利用されている畳込みニューラルネットワーク(CNN: Convolutional Neural Network)は重みの数や乗算数が多いという問題がある.
これらを解決するため, 本論文では雑音付加とpoint-wise(1x1)畳込みを組み合わせた雑音畳込み層を用いる.既存研究の解析から, 雑音畳込み層だけでは入力データは偏っているため認識精度が低下することが判明している.
今年度では, k層までを既存の畳込み層で実現し, k+1層以降を雑音畳込み層で実現するNoise Convolutional Neural Network(NCNN)を提案する.これにより, 大部分の畳込み層を1×1畳込み層に換えることで重みの数と乗算数を削減しつつ, 雑音を加えることで認識精度劣化を抑えることができる. NCNNと既存CNNの認識精度とパラメータ(重み)量の比較を行った.CIFAR-100データセットに関して, AlexNetではパラメータを88%, ResNet-18では96.2%削減できた一方, 認識精度に関してはAlexNetでは2.2%, ResNet-18では1.8%に抑えることができた.また, 今年度では提案するNCNNを効率よく実行するアーキテクチャについて述べる.NCNNではk+1層以降はpoint-wise畳込みのみ行われるため, 複雑なメモリアクセスアーキテクチャは不要であり, 単純かつ高速なアーキテクチャで実現可能である.提案NCNNをXilinx社ZCU102 FPGA評価ボード上に実装した結果, クラス分類タスクに関してはBinary CNNと比較して同程度の速度を達成しつつ, 認識精度が約10%優れていた.
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の計画に比較してデータを用いた実証に成功した。具体的には、以下の通りです。
PNN は CNN と比べて, ResNet-18 において, accuracy が CIFAR-10 では 0.8%下がり, CIFAR-100では 1.6%上がり, パラメータ数が 8.6 分の 1 に減り,学習時間が 22%減る. また, VGG-16 において, accuracy が CIFAR-10 では 15.9%下がり, CIFAR-100 では 28.7%下がり, パラメータ数が 6.9 分の 1 に減り,学習時間が 41%減る.今年度では, 1 層目を畳み込み層とした PNN を提案し, VGG-16 において, PNN に比 べて accuracyが CIFAR-10 では 13.8%, CIFAR-100 では 29.1%上がる. 提案手法では CNN に比べて同等の精度を保ちながらパラメータ数や乗算の数を大きく短縮できたため。
|
| Strategy for Future Research Activity |
雑音畳み込みCNNの学習ツールとデータセットによる検証が成功したので、専用ハードウェアの検討を行う。具体的にはXilinx社FPGA評価ボードに高位合成ツールを用いたプロトタイプを作成する。学習したCNNのモデルをC++に変換するツールを作成し、ツールフローチェーンを完成させる。その後、実用的なCNNの演算やデータセットを用いた評価を行う。
|
