• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Ultra-low Power Deep Learning Accelerator Chip using Analog Circuit-based Ordinary Differential Equation Solver

Research Project

Project/Area Number 20K11740
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 60040:Computer system-related
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

Fuketa Hiroshi  国立研究開発法人産業技術総合研究所, エレクトロニクス・製造領域, 主任研究員 (30587423)

Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Keywordsニューラルネットワーク / 機械学習 / 深層学習 / 音声認識 / キーワードスポッティング / 常微分方程式 / 低消費電力 / 集積回路
Outline of Research at the Start

近年、深層学習を核とした人口知能の技術革新は目覚ましい。現在、深層学習の処理は計算能力の高いクラウド側で実行される事が多いが、遅延時間やセキュリティなどの観点から端末側で処理を行うことが期待されている。しかし、バッテリー駆動のような電力の制約が厳しい端末で深層学習の処理を常時実行しようとすると、従来技術より一桁以上エネルギー効率を高める必要がある。そこで本研究課題では、深層学習で従来用いられる計算原理とは全く異なる、常微分方程式に基づく技術を採用し、それを全てアナログ回路で実装した超低消費電力の深層学習専用LSIチップを開発する。

Outline of Final Research Achievements

1) Techniques to utilize the Neural ODE for keyword spotting tasks were proposed, which can reduce the number of parameters in the network by 68%.
2) In the conventional circuits to perform keyword spotting tasks, analog speech signals were digitized, and then digital signal processors extracted features from the digital signals. However, there was a problem that the power consumption of the analog-to-digital conversion is significantly large. Thus, circuit techniques to extract features in an analog signal domain and remove the digital conversion were developed, which can reduce the power dissipation by 88%.

Academic Significance and Societal Importance of the Research Achievements

本研究は、バッテリー駆動のような電力制約が厳しい端末での常時深層学習処理を実現する為、低消費電力の(エネルギー効率の高い)集積回路技術の開発を目的としている。これまで、本研究で使用される常微分方程式に基づく深層学習アルゴリズム(Neural ODE)とエネルギー効率の関係について検討はなされておらず、本研究で示したNeural ODEがエネルギー効率向上に有効であることは学術的に意義深いと考える。さらに、エネルギー効率を高める為にアナログ回路を活用した演算回路技術を提案し、その有効性について実際にCMOSチップを製造し検証した点は、実用化に向けた重要な一歩であり、社会的な意義も高いと考える。

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (17 results)

All 2023 2022 2021 2020

All Journal Article (5 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (12 results) (of which Invited: 3 results)

  • [Journal Article] Ultralow Power Feature Extractor Using Switched-Capacitor-Based Bandpass Filter, Max Operator, and Neural Network Processor for Keyword Spotting2022

    • Author(s)
      Fuketa Hiroshi
    • Journal Title

      IEEE Solid-State Circuits Letters

      Volume: 5 Pages: 82-85

    • DOI

      10.1109/lssc.2022.3164573

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Time-Delay-Neural-Network-Based Audio Feature Extractor for Ultra-Low Power Keyword Spotting2022

    • Author(s)
      Fuketa Hiroshi
    • Journal Title

      IEEE Transactions on Circuits and Systems II: Express Briefs

      Volume: 69 Issue: 2 Pages: 334-338

    • DOI

      10.1109/tcsii.2021.3098813

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] Parameter Reduction by Neural Ordinary Differential Equation (Neural ODE) for Small-Footprint Keyword Spotting2021

    • Author(s)
      更田 裕司、森田 行則
    • Journal Title

      Proceedings of the Annual Conference of JSAI

      Volume: JSAI2021 Issue: 0 Pages: 4I2GS7c03-4I2GS7c03

    • DOI

      10.11517/pjsai.JSAI2021.0_4I2GS7c03

    • NAID

      130008051954

    • Related Report
      2021 Research-status Report
  • [Journal Article] Edge Artificial Intelligence Chips for the Cyberphysical Systems Era2021

    • Author(s)
      Fuketa Hiroshi、Uchiyama Kunio
    • Journal Title

      Computer

      Volume: 54 Issue: 1 Pages: 84-88

    • DOI

      10.1109/mc.2020.3034951

    • Related Report
      2020 Research-status Report
  • [Journal Article] Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting2020

    • Author(s)
      Fuketa Hiroshi、Morita Yukinori
    • Journal Title

      arXiv

      Volume: 1 Pages: 1-5

    • Related Report
      2020 Research-status Report
    • Open Access
  • [Presentation] ISSCC2023におけるAIチップ研究動向2023

    • Author(s)
      更田 裕司
    • Organizer
      第45回AIチップ設計拠点フォーラム
    • Related Report
      2022 Annual Research Report
  • [Presentation] Symposium on VLSI Technology and Circuits 2022 におけるAIチップ向け回路設計技術の研究動向2022

    • Author(s)
      更田 裕司
    • Organizer
      第36回AIチップ設計拠点フォーラム
    • Related Report
      2022 Annual Research Report
  • [Presentation] ISSCC2022におけるAIチップ研究動向2022

    • Author(s)
      更田 裕司
    • Organizer
      第32回AIチップ設計拠点フォーラム
    • Related Report
      2021 Research-status Report
  • [Presentation] キーワードスポッティング向けNeural ODEを用いたパラメータ削減手法の提案2021

    • Author(s)
      更田 裕司
    • Organizer
      2021年度人工知能学会全国大会(第35回)
    • Related Report
      2021 Research-status Report
  • [Presentation] 2021 Symposium on VLSI Circuits での AI チップ研究動向2021

    • Author(s)
      更田 裕司
    • Organizer
      第25回AIチップ設計拠点フォーラム
    • Related Report
      2021 Research-status Report
  • [Presentation] 国際会議IEDM2020 およびISSCC2021 におけるAI チップ研究開発動向2021

    • Author(s)
      更田 裕司
    • Organizer
      IMPULSEコンソーシアム 2020 第6回セミナー
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] ISSCC2021におけるAIチップ研究動向2021

    • Author(s)
      更田 裕司
    • Organizer
      第20回AIチップ設計拠点フォーラム
    • Related Report
      2020 Research-status Report
  • [Presentation] エッジAIを実現する低電力AIチップの研究開発動向2020

    • Author(s)
      更田 裕司
    • Organizer
      株式会社アドダイス ウェビナー
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] IEDM2020に見る半導体技術研究動向2020

    • Author(s)
      更田 裕司
    • Organizer
      第18回AIチップ設計拠点フォーラム
    • Related Report
      2020 Research-status Report
  • [Presentation] A-SSCCの研究動向2020

    • Author(s)
      更田 裕司
    • Organizer
      第18回AIチップ設計拠点フォーラム
    • Related Report
      2020 Research-status Report
  • [Presentation] エッジAIチップ研究開発動向2020

    • Author(s)
      更田 裕司
    • Organizer
      ITmedia Virtual EXPO 2020秋
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] 2020 Symposia on VLSI Technology & CircuitsでのAIチップ研究動向2020

    • Author(s)
      更田 裕司
    • Organizer
      第12回AIチップ設計拠点フォーラム
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi