Deep Learning Processor for Pipelined Backpropagation

2021 Fiscal Year Final Research Report

• Project/Area Number: 18H01500
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 21060:Electron device and electronic equipment-related
• Research Institution: Kobe University
• Principal Investigator: KAWAGUCHI Hiroshi 神戸大学, 科学技術イノベーション研究科, 教授 (00361642)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 深層学習 / 低消費電力プロセッサ / SRAM

Outline of Final Research Achievements

Dual-port SRAM for a deep learning processor was implemented in a 28nm FD-SOI process. It was confirmed that the energy consumption required for the read operation of image data can be reduced by 14.76%.
This technology was expanded in a 20-transistor ultra-multiport SRAM for codebook quantization in a deep learning processor; a prototype 4k-bit codebook that functions as a lookup table to convert 8 bits to 16 bits was fabricated in a 40nm process. The codebook reduced energy by 20% and area by 26% in the motif processor, NVIDIA NVDLA.

Free Research Field

低消費電力回路設計

Academic Significance and Societal Importance of the Research Achievements

IoTデバイスの低エネルギ画像認識の需要は機械学習により様々な分野で拡大している。カメラの高解像度化に反して、低エネルギ処理とリアルタイム性維持の両立が求められている。深層学習プロセッサは大量のパラメータと入出力を扱うため、大容量の内部SRAMが必要となり、シリコン面積の50%以上を占め、エネルギは外部DRAM帯域に支配される。精度を落とさずにメモリ帯域を削減する方法として量子化がある。コードブック方式は任意の非線形関数を表現でき、線形量子化よりも精度劣化を抑えることができる。この用途のために深層学習プロセッサのコードブック量子化用20トランジスタ超多ポートSRAMを設計、試作した。