• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A study on a high efficiency training architecture for an edge-AI device

Research Project

Project/Area Number 21J11958
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61040:Soft computing-related
Research InstitutionHokkaido University

Principal Investigator

金子 竜也  北海道大学, 情報科学院, 特別研究員(DC2)

Project Period (FY) 2021-04-28 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥1,700,000 (Direct Cost: ¥1,700,000)
Fiscal Year 2022: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2021: ¥900,000 (Direct Cost: ¥900,000)
Keywords機械学習 / エッジAI / オンライン学習 / 誤差逆伝播法 / 最適化手法 / FPGA / ソフトウェア/ハードウェア協調設計 / 低電力
Outline of Research at the Start

我々の身の回りにある携帯機器のようなデバイス(=エッジ端末)上でAIを活用しようとした時に負荷の高い学習処理の実装に関して課題が残っている.
本研究では,エッジAIプラットフォームをより豊かにするために電力や演算リソースが限られたエッジ端末上で,入力から出力を予測する「推論」と正しい出力が得られるようにAIを調整する「学習」という二つの処理を高効率に行うアルゴリズムとアーキテクチャの開発を目的とする.

Outline of Annual Research Achievements

AIの演算処理は「推論処理」と「学習処理」に大別でき,AIの恩恵を得るためにはどちらの処理も必須である.そのうち,主に積和演算等から成り立つ推論処理については多くのエッジAIソリューションが存在する.一方,エッジでの学習処理については,未だ汎用プロセッサを中心としたソフトウェア的な手法に留まっており,消費電力や演算リソース等の学習処理のコストは極めて高い.そこで本研究は,電力やハードウェア資源が制限されるエッジデバイスにおいて,学習処理を可能とする新規アルゴリズムとそれらを実装するアーキテクチャの構築を目的とした.
その一つとして,アナログ回路を導入した「コンピューティングインメモリ(Computing in Memory: CIM)デバイス」のための誤差逆伝播法,およびCIMデバイスを用いて学習処理を行うアーキテクチャの構築を行った.従来のノイマン型アーキテクチャの問題解消に向けた取り組みとして多量のデータ(パラメータ)を保存しているメモリ上で積和演算を行うCIMアーキテクチャが注目されている.本研究では,「ReRAMを用いたCIM AIデバイス」上に学習機能を実現するための新規アルゴリズムの開発を行った.多くのCIM AIデバイスの抱える問題に対処するためディジタル誤差逆伝播法(Digital BP)に着目し,その弱点(性能低下)を補うニューラルネットワークの構造を新たに考案しその性能を示した.当該年度は,査読付き論文誌への投稿とその査読結果を踏まえて電力に関する追加評価を行い,学習部における演算コアの消費電力を10 mW以下にできることを示した.また,同等のアーキテクチャ構造(CIMデバイスを外部メモリとして扱い,学習を専用回路で行う)を持つ他の研究と比較し,その優位性を議論した.上記結果をまとめたものを現在論文誌へと投稿中である.

Research Progress Status

令和4年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和4年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (8 results)

All 2023 2022 2021

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (6 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Hardware-oriented deep reinforcement learning for edge computing2021

    • Author(s)
      Yamagishi Yoshiharu、Kaneko Tatsuya、Akai-Kasaya Megumi、Asai Tetsuya
    • Journal Title

      Nonlinear Theory and Its Applications, IEICE

      Volume: 12 Issue: 3 Pages: 526-544

    • DOI

      10.1587/nolta.12.526

    • NAID

      130008060790

    • ISSN
      2185-4106
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] エッジAIのオンライン学習に向けた学習アルゴリズムの軽量化2023

    • Author(s)
      金子 竜也, 百瀬 啓, 浅井 哲也
    • Organizer
      フォレストワークショップ2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] On-Device Training Architecture for Analog ReRAM Neural Networks with Digital BP2022

    • Author(s)
      Tatsuya Kaneko, Hiroshi Momose, Tetsuya Asai
    • Organizer
      MEMRISYS 2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] エッジAIのオンライン学習に向けたハードウェア指向対数量子化オプティマイザの提案2022

    • Author(s)
      金子 竜也, 山岸 善治, 百瀬 啓, 浅井 哲也
    • Organizer
      電子情報通信学会複雑コミュニケーションサイエンス研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] エッジ学習に向けたモーメンタム最適化法のハードウェア設計2021

    • Author(s)
      山岸 善治, 金子 竜也, 赤井 恵, 浅井 哲也
    • Organizer
      2021年電子情報通信学会ソサイエティ大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] アナログAIデバイスのオンライン学習に向けた学習アルゴリズムとそのFPGAアーキテクチャ2021

    • Author(s)
      金子 竜也, 山岸 善治, 百瀬 啓, 浅井 哲也
    • Organizer
      第34回 回路とシステムワークショップ
    • Related Report
      2021 Annual Research Report
  • [Presentation] 不揮発アナログAIデバイス(RAND)のオンライン学習制御システム実装とその評価2021

    • Author(s)
      金子 竜也, 山岸 善治, 百瀬 啓, 浅井 哲也
    • Organizer
      LSIとシステムのワークショップ2021
    • Related Report
      2021 Annual Research Report
  • [Patent(Industrial Property Rights)] 最適化装置及び最適化方法並びに最適化用プログラム2022

    • Inventor(s)
      浅井 哲也, 山岸 善治, 金子 竜也
    • Industrial Property Rights Holder
      浅井 哲也, 山岸 善治, 金子 竜也
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2022-011651
    • Filing Date
      2022
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2021-05-27   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi