Development of Deep Neural Network Accelerator Utilizing Approximate Computing

2021 Fiscal Year Final Research Report

• Project/Area Number: 19H04079
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60040:Computer system-related
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: YU JAEHOON 東京工業大学, 科学技術創成研究院, 准教授 (70726976)
• Co-Investigator(Kenkyū-buntansha): 橋本 昌宜 京都大学, 情報学研究科, 教授 (80335207)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 深層ニューラルネットワーク / 近似コンピューティング / 深層学習 / 推論アクセラレータ

Outline of Final Research Achievements

We devised approximate computing methods for learning and inference of deep neural networks during the three-year research period. Also, we proposed an arithmetic circuit and an inference accelerator to support them. These results have been published in six international conferences and two journals. One of the most notable achievements is Hiddenite, an inference accelerator presented at ISSCC2022, the Olympics of Chips. Hiddenite significantly reduces the memory requirements of deep neural networks by using random weights. We implemented Hiddenite on a relatively old 40nm process. Yet, it showed processing efficiency equivalent to or better than inference accelerators using state-of-the-art processes.

Free Research Field

AIプロセッサ

Academic Significance and Societal Importance of the Research Achievements

本研究成果の学術的意義は、 深層学習のアルゴリズムから、アーキテクチャ、回路技術、設計技術までをカバーしたクロスレイヤー型研究による解析と最適化を行い、深層ニューラルネットワークにおいて不必要な冗長性と厳密性を取り除くためにどのようなアプローチが有効であるかを明らかにしたことにある。
またこれにより深層ニューラルネットワークを利用するために必要な計算リソースと電力リソースの制約を緩和することが可能となり、それが適用可能な 範囲を大きく広げた点で大きな社会的意義を持つ。