• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

環境適応型深層学習とそのアーキテクチャの研究

Research Project

Project/Area Number 22KJ1348
Project/Area Number (Other) 22J23506 (2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2022)
Section国内
Review Section Basic Section 60040:Computer system-related
Research InstitutionTokyo Institute of Technology

Principal Investigator

鈴木 淳之介  東京工業大学, 工学院, 特別研究員(DC1)

Project Period (FY) 2023-03-08 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
Keywords深層学習 / アクセラレータ / オンライン学習 / 低電力 / ニューラルネットワーク / 超低電力エッジAI / 推論アクセラレータ / ハードウェアアーキテクチャ / 量子化
Outline of Research at the Start

Society5.0の目指すAI社会において求められるユーザ要件や動作環境に適応したAI処理の実現に向けて,計算資源や電力資源制約のあるエッジ環境下において環境や利用状況に応じてカスタマイズ可能な深層学習アーキテクチャの実現を目指す.回路資源と電力資源を最大限活用するハードウェアアーキテクチャとこの性能を最大限に引き出すアルゴリズムの両面により解決を図る.推論処理を高効率に処理する超低電力アクセラレータ,エッジでのオンライン学習を可能とするアクセラレータの開発を通して高効率なAI処理基盤の実現に貢献する.

Outline of Annual Research Achievements

本年度は、環境適応型エッジAIの実現に向けて、昨年度設計した超低電力ビット累進型アクセラレータのベースアルゴリズムであるProgressiveNNの効率化に取り組んだ。ProgressiveNNでは、ニューラルネットワークの重みをビット単位の2値表現で量子化し、最上位ビットからビットシリアルに計算することで適応的なビット精度を実現している。しかし、2値表現{+1, -1}の累積のためゼロ表現がなく、スパースアクセラレータによる効率化ができないという問題が存在する。そこで、ブースアルゴリズムを組み合わせることで、0表現とビット累進的な表現を両立可能であることを示した。また、高ビット精度モデルから低ビット精度モデルへの段階的な学習がもたらす低ビット精度モデルの精度劣化に対し、3値モデルから学習した分布を維持しつつ、高ビットへ学習することで、精度-計算量のトレードオフを改善した。これにより、ターナリーからNビットモデルまでを単一重みで実現可能とした。この成果は2024年4月にAICASで発表予定である。

また、超低電力アクセラレータの成果について、VLSI Symposiumでの発表および国内のRECONF研究会での発表を行った。これらの成果に対し、RECONF優秀講演賞、IEEE EDS Japan Joint Chapter Student Awardを受賞した。また、VLSIの拡張論文についても発表している。

次に、環境適応型エッジAIの実現に向けた低電力学習アクセラレータの設計を行い、現在進行中である。エッジデバイスでの低電力学習に向け、低ビットかつ高ダイナミックレンジな数値表現の導入および計算量削減手法を検討した。本年度は主にアルゴリズムの評価を行い、来年度ハードウェア設計予定となっている。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は、これまでの研究成果であるビット漸進型ニューラルネットワーク(NN)アルゴリズムであるProgressiveNNを拡張し、スパースシティを利用可能なビット漸進的量子化アルゴリズムを開発・評価を行った。これらの成果はAICAS 2024に採択されている。また、並行して環境適応型エッジAIの実現に向けて、オンチップ学習を実現する学習アクセラレータのアルゴリズム検討を完了しており、本研究課題がおおむね順調に進んでいると考えている。

Strategy for Future Research Activity

現時点では、今後設計予定であるオンチップ学習アクセラレータのベースアルゴリズムの検討をおおむね完了しており、来年度から本格的に設計予定となっている。
2023年度は、これまでの低電力チップやFPGAアクセラレータ知見を活かしつつ、低電力かつ高効率な学習アクセラレータの設計を行う。また、並行してオンチップ軽量学習アルゴリズムの改良やハードウェアシミュレーション環境の作成・モデル評価を行う。また、オンチップ学習におけるラベルなしデータ等のシステムレベルの研究課題についても取り組んでいく予定である。これらの成果をまとめ、本研究成果を国際学会や論文誌に投稿する予定である。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Annual Research Report
  • Research Products

    (5 results)

All 2024 2023

All Journal Article (1 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (4 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results)

  • [Journal Article] Pianissimo: A Sub-mW Class DNN Accelerator With Progressively Adjustable Bit-Precision2024

    • Author(s)
      Suzuki Junnosuke、Yu Jaehoon、Yasunaga Mari、Garcia-Arias gnel Lopez、Okoshi Yasuyuki、Kumazawa Shungo、Ando Kota、Kawamura Kazushi、Van Chu Thiem、Motomura Masato
    • Journal Title

      IEEE Access

      Volume: 12 Pages: 2057-2073

    • DOI

      10.1109/access.2023.3347578

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Progressive Variable Precision DNN With Bitwise Ternary Accumulation2024

    • Author(s)
      Junnosuke Suzuki
    • Organizer
      IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Pianissimo: エッジでの適応的な推論を実現するサブmWクラスDNNアクセラレータ2023

    • Author(s)
      鈴木淳之介
    • Organizer
      並列/分散/協調処理に関するサマー・ワークショップ (SWoPP)
    • Related Report
      2023 Research-status Report
  • [Presentation] Pianissimo: A Sub-mW Class DNN Accelerator with Progressive Bit-by-Bit Datapath Architecture for Adaptive Inference at Edge2023

    • Author(s)
      鈴木淳之介
    • Organizer
      VLSIシンポジウム国内報告会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] Pianissimo: A Sub-mW Class DNN Accelerator with Progressive Bit-by-Bit Datapath Architecture for Adaptive Inference at Edge2023

    • Author(s)
      Junnosuke Suzuki
    • Organizer
      2023 Symposium on VLSI Technology and Circuits
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2022-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi