• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

ニューラルネットワークの高効率インメモリ・リコンフィギャラブルプロセッサの研究

Research Project

Project/Area Number 18J20307
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Computer system
Research InstitutionTokyo Institute of Technology (2019-2020)
Hokkaido University (2018)

Principal Investigator

安藤 洸太  東京工業大学, 工学院, 特別研究員(DC1)

Project Period (FY) 2018-04-25 – 2021-03-31
Project Status Completed (Fiscal Year 2020)
Budget Amount *help
¥3,100,000 (Direct Cost: ¥3,100,000)
Fiscal Year 2020: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2019: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2018: ¥1,100,000 (Direct Cost: ¥1,100,000)
Keywordsニューラルネットワーク / リコンフィギャラブルLSI / 畳込みニューラルネットワーク / 再構成可能アーキテクチャ / アクセラレータ / 量子化 / ディザ / LSI / ハードウェア志向アルゴリズム / 深層学習 / ハードウェアアクセラレータ / ハードウェアアーキテクチャ / ディジタル信号処理
Outline of Annual Research Achievements

前年度より、ニューラルネットワークの1層分の係数を格納するメモリと対となった積和演算器を再構成単位としてアレイ状に配列した、粗粒度なメモリ密結合型(ニアメモリ)リコンフィギャラブルアクセラレータを考えてきた。本年度はこの発展形として並行して発想された、演算器個別ではなく演算器アレイ全体に結合する独立制御可能なメモリにより、ニューラルネットワーク層単位でメモリ読み出し・演算・メモリ書き戻しまでをパイプライン処理する方式に注力した。
近年の大規模化するニューラルネットワークの効率的処理の観点において、処理全体の消費電力にメモリアクセスが占める割合が非常に大きいことから、一度メモリからロードされたデータを可能な限り再利用すること(算術強度の改善)が重要である。一方、近年の高速化を目指すスパースなモデルアルゴリズムには不連続・不規則なメモリアクセスを強いるものが多数となり、従来の方法での算術強度の向上は難しくなった。本方式は1)演算器アレイの行と列をデータ構造の独立の次元に当てて並列化すること、2)それぞれの演算器に供給するデータの選択は独立制御可能なメモリのアドレシングで行い、隣接メモリ間でのデータのアラインメントずれを吸収するデータ選択機構を取り入れること、3)演算器アレイでの計算結果の書き戻しもパイプライン上で行うことの3点から、不規則なデータ構造に対しても演算器の占有率と算術強度の最大化を図るものである。
この方式に基づいて試作LSIを製作し、評価を行った。その成果は現在国際会議へ投稿中(採否通知待ち)である。また、既存のニューラルネットワークモデルの認識精度を保ったまま、この演算器構造で最高効率となるスパースなデータ構造に変形しながら再学習する学習アルゴリズムも提案中である。

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

Report

(3 results)
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • Research Products

    (4 results)

All 2019 2018

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (3 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Dither NN: Hardware/Algorithm Co-Design for Accurate Quantized Neural Networks2019

    • Author(s)
      Ando K., Ueyoshi K., Oba Y., Hirose K., Uematsu R., Kudo T., Ikebe M., Asai T., Takamaeda-Yamazaki S., and Motomura M.,
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E102.D Issue: 12 Pages: 2341-2353

    • DOI

      10.1587/transinf.2019PAP0009

    • NAID

      130007754476

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2019-12-01
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Dither NN: 画像処理から着想を得た組込み向け量子化ニューラルネットワークの精度向上手法2019

    • Author(s)
      安藤 洸太, 植吉 晃大, 大羽 由華, 廣瀨 一俊, 工藤 巧, 池辺 将之, 浅井 哲也, 高前田 伸也, 本村 真人
    • Organizer
      電子情報通信学会 リコンフィギャラブルシステム研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Dither NN: An accurate neural network with dithering for low bit-precision hardware2018

    • Author(s)
      Kota Ando, Kodai Ueyoshi, Yuka Oba, Kazutoshi Hirose, Ryota Uematsu, Takumi Kudo, Masayuki Ikebe, Shinya Takamaeda-Yamazaki, and Masato Motomura
    • Organizer
      The 2018 International Conference on Field-Programmable Technology (FPT’18)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ディザ拡散を用いた組み込み向け二値化ニューラルネットワークの高精度化手法の検討2018

    • Author(s)
      安藤洸太, 植吉晃大, 大羽由華, 廣瀬一俊, 植松瞭太, 工藤巧, 池辺将之, 浅井哲也, 高前田伸也, 本村真人
    • Organizer
      LSIとシステムのワークショップ2018
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-05-01   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi