メモリ内演算に基づく超低消費電力深層学習チップの開発

2019 Fiscal Year Research-status Report

• Project/Area Number: 18K13800
• Research Institution: Osaka University
• Principal Investigator: 粟野 皓光 大阪大学, 情報科学研究科, 准教授 (10799448)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: リザーバコンピューティング / ブルームフィルタ / オンライン学習

Outline of Annual Research Achievements

深層ニューラルネットワーク（DNN）が画像分類を始めとした様々な領域で既存アルゴリズムを上回る成果を挙げている。しかし、他を圧倒する性能と引き換えに、DNNの学習・推論に要する計算コストは非常に大きく、DNNのエッジデバイス応用が広がらない要因となっている。この様な背景を鑑み、本年度は、確率的勾配法等の反復法に依存しない、機械学習手法を開発し、画像分類タスクにおいてその有効性を検証した。具体的には、2値状態を取るセルオートマトン（CA）を利用したリザーバコンピューティング（RC）に着目する。CAとは格子状のセルと、近傍セル間の単純な規則で規定される離散的計算モデルであり、その単純さとは裏腹に生命現象や結晶の成長など、非常に複雑な現象をモデル化出来る能力を秘めている。2値化CAをRCに利用してMNISTを分類した研究が知られているが、出力層の学習には一般化逆行列等の計算コストの高い演算が必要であった。そこで、本年度はBloom Filter（BF）と呼ばれるデータ構造の活用を検討した。BFとは確率的データ構造の1種であり、入力データが特定のクラスのメンバであるか否かのテストに利用される。BFでは偽陽性による誤検出の可能性があるが、一定レベルの誤検出を許容することで、パラメータ空間の大幅な圧縮と、非常に高速な学習を実現している。数値実験の結果、2値化CAで構成されるリザーバにBFから成る出力層を組み合わせることで、MNISTタスクにおいて、92%の分類精度を達成した。これは、同様にBFを利用した既存研究（Bloom WiSARD）と比較して同等の精度であるが、提案手法ではモデルサイズを1/4程度に圧縮することに成功しており、組み込み機械学習に必要なフットプリントの更なる削減に繋がる成果が得られている。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

RCを利用した多くの研究が人工的に作られた時系列データの予測に終始している中で、本年度は、実用的なデータセット（MNIST）において、比較的良好な分類精度が得られるレベルまでアルゴリズムの洗練化が出来ている。従って、おおむね順調に進展していると考える。

Strategy for Future Research Activity

今後は提案アルゴリズムのハードウェア実装に焦点を移した研究を展開する。具体的には複数のBFを効率的に扱えるアーキテクチャの検討を開始し、FPGAやASICでの回路規模を検討する。

Causes of Carryover

COVID-19に伴い参加を予定していた学会が中止されたため。余剰分は追加で必要な備品の購入に充てる。