2017 Fiscal Year Research-status Report

深層学習向けニューラルネットワークチップの研究開発

Research Project

Project/Area Number	17K00083
Research Institution	Kumamoto University
Principal Investigator	尼崎太樹熊本大学, 大学院先端科学研究部(工), 助教 (50467974)
Project Period (FY)	2017-04-01 – 2020-03-31
Keywords	重み2のべき乗化 / 高速シリアル通信 / ニューラルネットワーク / ディープラーニング
Outline of Annual Research Achievements	本研究では高速・低消費電力な深層学習チップを実現するために，回路レベル，デバイスレベル両方からNN専用HWアーキテクチャの探索を行う．当面は深層学習で最も広く使用される畳み込みニューラルネットワーク（CNN）を対象とし，以下の3項目に分けて研究を行う．①ニューラルネットワーク専用アーキテクチャの研究，②イベント駆動型低消費電力方式の研究，③3次元積層方式を用いたLSI化の研究．研究初年度はNN専用のセルアーキテクチャ，イベント駆動型計算処理方式の基礎検討を行い，回路レベルの消費電力最適化を図った． (1)低精度演算セル／スパース型シナプス結合の検討以下の項目に沿って，認識精度を保ちつつ低精度演算可能なアーキテクチャを開発した．：削減可能な演算ビット数の調査（対象：ニューロンおよびシナプス結合のビット数），削減可能なシナプス結合の調査（対象：シナプス結合数），演算情報を2のべき乗近似した場合の影響（対象：NN全体），シナプス結合の重みを代表値のみで表現した場合の影響（対象：NN全体）．最初の2項目は演算量を減らすことで回路量を減らすアプローチである．重みに2のべき乗を用いることで、32ビット演算制度を用いた実装と比較して重みに搭載するメモリサイズを約87%削除できることを確認した． (2)柔軟性と拡張性をもつレイヤ方式の検討 NNに応じて性能・機能・規模を最適化できるレイヤ方式について，高速シリアル伝送網を使ったチップ拡張方式の検討を行った．大規模NN向けに埋込みメモリ部に高速シリアル伝送網を設け，複数チップ間で効率良く信号を伝搬する仕組みを検討した．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 大規模ニューラルネットワークをチップに搭載する際，認識制度を削る形でハードウェア量を削減するアプローチと，複数チップを用いることで認識制度を犠牲にしない2つのアプローチが考えられる．初年度は前者として2のべき乗化重みを使った回路規模削減を行い，後者のアプローチとして高速シリアル通信網を使ったアプローチをそれぞれ検討した．これらの技術を組合わせることで認識制度と回路規模のトレードオフを探索することが可能となり，次年度に向けたニューラルネットワーク向けのアーキテクチャの基礎検討を行うことができた．ただし，レイヤ間のデータやり取りをどのように行うかは次年度以降の課題となる．
Strategy for Future Research Activity	次年度では低消費電力化およびレイヤ間接続を明らかにするために以下のアプローチをとる． - ビットシリアル方式を用いた可変精度演算回路 - イベント検出方式の検討 - 3次元積層方式を用いたLSI集積化の方法初年度に得られたNN向けアーキテクチャのプロトタイプ評価をFPGAを使って行う．NNの規模が大きい場合は光高速シリアル通信を備えたFPGAを用いて複数チップで実装評価する．次年度ではチップの基本仕様を確定し，3次元積層方式の研究へ移行する．ここでは物理設計（レイアウト設計）までを行い，得られた情報を元にGPGPUとFPGAとの比較評価を行い提案手法の有効性を探る．これに並行して専用チップをライブラリ化しソフトウェアから実行できる仕組みを検討する．
Causes of Carryover	国際会議への投稿（1件）がリジェクトされたためである．本件はブラッシュアップをはかり次年度に再度投稿予定である．