Development of Ultra-low Power Deep Learning Accelerator Chip using Analog Circuit-based Ordinary Differential Equation Solver

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K11740
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60040:Computer system-related
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: Fuketa Hiroshi 国立研究開発法人産業技術総合研究所, エレクトロニクス・製造領域, 主任研究員 (30587423)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: ニューラルネットワーク / 機械学習 / 深層学習 / 音声認識 / キーワードスポッティング / 常微分方程式 / 低消費電力 / 集積回路

Outline of Final Research Achievements

1) Techniques to utilize the Neural ODE for keyword spotting tasks were proposed, which can reduce the number of parameters in the network by 68%.
2) In the conventional circuits to perform keyword spotting tasks, analog speech signals were digitized, and then digital signal processors extracted features from the digital signals. However, there was a problem that the power consumption of the analog-to-digital conversion is significantly large. Thus, circuit techniques to extract features in an analog signal domain and remove the digital conversion were developed, which can reduce the power dissipation by 88%.

Free Research Field

集積回路設計

Academic Significance and Societal Importance of the Research Achievements

本研究は、バッテリー駆動のような電力制約が厳しい端末での常時深層学習処理を実現する為、低消費電力の（エネルギー効率の高い）集積回路技術の開発を目的としている。これまで、本研究で使用される常微分方程式に基づく深層学習アルゴリズム（Neural ODE）とエネルギー効率の関係について検討はなされておらず、本研究で示したNeural ODEがエネルギー効率向上に有効であることは学術的に意義深いと考える。さらに、エネルギー効率を高める為にアナログ回路を活用した演算回路技術を提案し、その有効性について実際にCMOSチップを製造し検証した点は、実用化に向けた重要な一歩であり、社会的な意義も高いと考える。