• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

大規模AI学習向け高速推論学習と省電力を両立する深層学習プロセッサのコデザイン

Research Project

Project/Area Number 18J11572
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Computer system
Research InstitutionKobe University
Research Fellow 森 陽紀  神戸大学, システム情報学研究科, 特別研究員(DC2)
Project Period (FY) 2018-04-25 – 2020-03-31
Project Status Declined (Fiscal Year 2019)
Budget Amount *help
¥2,100,000 (Direct Cost: ¥2,100,000)
Fiscal Year 2019: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2018: ¥1,100,000 (Direct Cost: ¥1,100,000)
Keywords深層学習 / モデル並列 / パイプライン逆伝搬 / 分散メモリ / メモリ容量削減 / メモリバンド幅削減 / 低電力
Outline of Annual Research Achievements

本研究の目的は、アルゴリズムとハードウェアの両面から、システム全体の効率化・省電力化を図り、既存技術と比較してコスト対電力性能比2桁改善を実現する大規模深層学習に向けた高速かつ高効率な深層学習プロセッサを開発することである。
本年度は、H29年度に開発したパイプライン並列型深層学習アルゴリズムで未解決となっていた、パイプライン学習実行時の認識精度向上を目指した最適関数の再設計及び、パイプライン深層学習メモリ転送量と通信レイテンシを2桁向上する、低電力メモリアーキテクチャの提案を行った。
具体的には、パイプライン実行時の重み係数更新量の誤差を補完する適応型最適化関数の設計に取り組むと共に、各レイヤにおけるプロセッサ内部の演算コプロセッサとメモリ分割アーキテクチャの設計、畳み込み層・バッチ正規化層における高効率なMAC演算手法の設計に加え、プロセッサ間の外部通信のためのデータバス分割アーキテクチャの検討、外部データバスのデータフロー片方向制御によるメモリバンド幅削減手法の開発に取り組んだ。さらに、プロセッサ内の高速キャッシュメモリ(SRAM)の低消費電力化手法及び提案アーキテクチャをLSI上に実装し、その電力性能検証を行った。
これらの成果は、国内及び国際学会に採択されているとともに、IEEEにおけるトップ学術論文誌に採録されている。
今後、コプロセッサと申請者の開発したモデル並列アルゴリズム、メモリ分散アーキテクチャを統合し、FPGA上に深層学習プロセッサを実現することで、実際のレイヤ処理時間、メモリアクセス数、外部通信バンド幅や外部転送データ容量等の検証が必要となる。

Research Progress Status

翌年度、交付申請を辞退するため、記入しない。

Strategy for Future Research Activity

翌年度、交付申請を辞退するため、記入しない。

Report

(1 results)
  • 2018 Annual Research Report

Research Products

(5 results)

All 2019 2018

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (2 results) (of which Int'l Joint Research: 1 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] A 28-nm FD-SOI 8T Dual-Port SRAM for Low-Energy Image Processor With Selective Sourceline Drive Scheme2019

    • Author(s)
      H. Mori, T. Nakagawa, Y. Kitahara, Y. Kawamoto, K. Takagi, S. Yoshimoto, S. Izumi, H. Kawaguchi, and M. Yoshimoto
    • Journal Title

      IEEE Transactions on Circuits and Systems I

      Volume: 66 Pages: 1442-1453

    • DOI

      10.1109/tcsi.2018.2885536

    • NAID

      120007026371

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Presentation] 28-nm FD-SOI Dual-Port SRAM with MSB-Based Inversion Logic for Low-Power Deep Learning2018

    • Author(s)
      H. Mori, S. Izumi, H. Kawaguchi, M. Yoshimoto
    • Organizer
      2018 25th IEEE International Conference on Electronics, Circuits and Systems (ICECS)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 分散深部学習におけるメモリと帯域幅削減のためのレイヤーブロックワイズパイプライン2018

    • Author(s)
      森 陽紀, 陽川 哲也, 和泉 慎太郎, 吉本 雅彦, 川口 博, 井上 敦樹
    • Organizer
      LSIとシステムのワークショップ2018
    • Related Report
      2018 Annual Research Report
  • [Patent(Industrial Property Rights)] 学習システム、処理装置、処理方法、およびプログラム2018

    • Inventor(s)
      森陽紀、陽川哲也、川口博
    • Industrial Property Rights Holder
      森陽紀、陽川哲也、川口博
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2018-119945
    • Filing Date
      2018
    • Related Report
      2018 Annual Research Report
  • [Patent(Industrial Property Rights)] 学習システム、学習方法、およびプログラム2018

    • Inventor(s)
      森陽紀、山田和樹、川口博
    • Industrial Property Rights Holder
      森陽紀、山田和樹、川口博
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2018-196539
    • Filing Date
      2018
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-05-01   Modified: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi