• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Fused-layer neural network accelerators with reduced on-chip memories

Research Project

Project/Area Number 19K11885
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 60040:Computer system-related
Research InstitutionTokyo City University

Principal Investigator

Kenshu Seto  東京都市大学, 理工学部, 講師 (10420241)

Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywordsニューラルネットワーク / アクセラレータ / オンチップメモリ削減 / 高位合成 / オンチップメモリ
Outline of Research at the Start

ニューラルネットワーク(NN)アクセラレータでは、大量に使用されるオンチップメモリの削減が課題となっている。特徴マップを格納するオンチップメモリサイズの削減のため、融合型NNアクセラレータが提案されたが、冗長なオンチップメモリを含む問題点や、複雑なNNに対応できない問題点がある。本研究では、NNのCコードに対しソースコード最適化を適用し、高位合成を活用することで、従来の課題を解決する融合型NNアクセラレータの設計技術を提案する。

Outline of Final Research Achievements

Fused-layer neural network accelerators, which execute multiple layers in parallel, reduce off-chip memory accesses by storing intermediate results in on-chip memories. As a result, we expect reduced energy consumption for fused-layer neural network accelerators. In this research, we successfully developed loop and memory access optimizations which are effective for developing fused-layer neural network accelerators. For the memory access optimization, we extended the scalar replacement, which is useful for automatic line buffer generation, so that it can handle multiple write accesses.

Academic Significance and Societal Importance of the Research Achievements

AIの基盤となるニューラルネットワークを効率良く実行するハードウェアが求められており、融合型ニューラルネットワークアクセラレータに着目した。アクセラレータを短期間に設計するには、プログラムからハードウェアを自動生成できる高位合成の活用が効果的だが、高効率なハードウェア生成には、人手によるコード最適化が必要になり、設計期間の長期化が問題となっていた。重要なコード最適化の一つとして、スカラリプレイスと呼ばれるメモリ最適化があり、これを融合型ニューラルネットワークに適用できるよう、世界初の拡張に成功した。研究成果の活用により、迅速な高効率ニューラルネットワークアクセラレータの設計に寄与できる。

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (8 results)

All 2021 2020

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (7 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] A Survey on System-Level Design of Neural Network Accelerators2021

    • Author(s)
      Kenshu Seto
    • Journal Title

      Journal of Integrated Circuits and Systems

      Volume: 16 Issue: 2 Pages: 1-10

    • DOI

      10.29292/jics.v16i2.505

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] モンテカルロ木探索と整数線形計画法の組み合わせによる最適スケジューリング2021

    • Author(s)
      松岡 尚典, 瀬戸 謙修
    • Organizer
      第195回システムとLSIの設計技術研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 高位合成を用いたハードウェア設計における三角ループ向けスカラリプレイス2021

    • Author(s)
      坂部 光, 瀬戸 謙修
    • Organizer
      第195回システムとLSIの設計技術研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] ループ平坦化におけるループ回数の2のべき乗化による回路最適化2021

    • Author(s)
      伊澤 昇平, 瀬戸 謙修
    • Organizer
      第196回システムとLSIの設計技術研究発表会(デザインガイア2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] Scalar Replacement in the Presence of Multiple Write Accesses for Accelerator Design with High-level Synthesis2021

    • Author(s)
      Kenshu Seto
    • Organizer
      DATE 2021
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] ループ平坦化によるLLVM/Pollyにおけるループ融合の促進2021

    • Author(s)
      伊澤昇平, 外處尭之, 瀬戸謙修, 立岡真人, 西田嘉人
    • Organizer
      システムとLSIの設計技術研究会 (IPSJ-SLDM)
    • Related Report
      2020 Research-status Report
  • [Presentation] 畳み込みニューラルネットワークにおける重みカーネルの分布に基づいた層ごとの最適なプルーニング2020

    • Author(s)
      五十嵐 碧, 瀬戸 謙修
    • Organizer
      電気学会全国大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 依存グラフのスケジュール変換による畳み込み処理向けメモリアクセス最適化2020

    • Author(s)
      外處 尭之, 瀬戸 謙修
    • Organizer
      システムとLSIの設計技術研究会 (IPSJ-SLDM)
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi