パイプラインバックプロパゲーションを用いたディープラーニングプロセッサ

• 研究課題/領域番号: 18H01500
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 審査区分: 小区分21060:電子デバイスおよび電子機器関連
• 研究機関: 神戸大学
• 研究代表者: 川口 博 神戸大学, 科学技術イノベーション研究科, 教授 (00361642)
• 研究期間 (年度): 2018-04-01 – 2021-03-31
• 研究課題ステータス: 完了 (2021年度)
• 配分額: 16,900千円 (直接経費: 13,000千円、間接経費: 3,900千円); 2020年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円); 2019年度: 11,570千円 (直接経費: 8,900千円、間接経費: 2,670千円); 2018年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
• キーワード: 深層学習 / 低消費電力プロセッサ / SRAM / ニューラルネットワーク / ディープラーニング / ディープラーニングプロセッサ

研究成果の概要

深層学習プロセッサ用デュアルポートSRAMを28nm FD-SOIプロセスによって実装した。画像データの読み出し動作にかかるエネルギを14.76%削減可能であることを確認した。
この技術を深層学習プロセッサのコードブック量子化用20トランジスタ超多ポートSRAMに拡張した。8ビットを16ビットに変換するルックアップテーブルとして機能する4kビットコードブックを40nmプロセスで試作した。モチーフとするNVIDIA NVDLAプロセッサにおいて20%のエネルギと26%の面積を削減した。

研究成果の学術的意義や社会的意義

IoTデバイスの低エネルギ画像認識の需要は機械学習により様々な分野で拡大している。カメラの高解像度化に反して、低エネルギ処理とリアルタイム性維持の両立が求められている。深層学習プロセッサは大量のパラメータと入出力を扱うため、大容量の内部SRAMが必要となり、シリコン面積の50%以上を占め、エネルギは外部DRAM帯域に支配される。精度を落とさずにメモリ帯域を削減する方法として量子化がある。コードブック方式は任意の非線形関数を表現でき、線形量子化よりも精度劣化を抑えることができる。この用途のために深層学習プロセッサのコードブック量子化用20トランジスタ超多ポートSRAMを設計、試作した。

研究成果

• [雑誌論文] Rapid Method Using Deep Learning with Multi-focus Microphotographs to Measure Submicrometric Structures and Its Evaluation (2021)
  • 著者名/発表者名: R. Narukage, G. Okada, and H. Kawaguchi
  • 雑誌名: JLPS Journal of Laser Micro / Nanoengineering (JLMN) 巻: 16 ページ: 150-154
  • DOI: 10.2961/jlmn.2021.02.3001
  • 査読あり
• [雑誌論文] A 28-nm FD-SOI 8T Dual-Port SRAM for Low-Energy Image Processor With Selective Sourceline Drive Scheme (2019)
  • 著者名/発表者名: H. Mori, T. Nakagawa, Y. Kitahara, Y. Kawamoto, K. Takagi, S. Yoshimoto, S. Izumi, H. Kawaguchi, and M. Yoshimoto
  • 雑誌名: IEEE Transactions on Circuits and Systems I: Regular Papers 巻: 66 号: 4 ページ: 1442-1453
  • DOI: 10.1109/tcsi.2018.2885536
  • 査読あり
• [雑誌論文] A 28-nm FD-SOI 8T Dual-Port SRAM for Low-Energy Image Processor with Selective Sourceline Drive Scheme (2019)
  • 著者名/発表者名: H. Mori, T. Nakagawa, Y. Kitahara, Y. Kawamoto, K. Takagi, S. Yoshimoto, S. Izumi, H. Kawaguchi, and M. Yoshimoto 97.H. Mori, T. Nakagawa, Y. Kitahara, Y. Kawamoto, K. Takagi, S. Yoshimoto, S. Izumi, H. Kawaguchi, and M. Yoshimoto
  • 雑誌名: IEEE Transactions on Circuits and Systems I 巻: 印刷中
  • NAID: 120007026371
  • 査読あり
• [学会発表] Rapid method using deep learning with multi-focus microphotographs to measure submicrometric structures (2020)
  • 著者名/発表者名: R. Narukage, G. Okada, and H. Kawaguchi
  • 学会等名: DGM/JLPS International Symposium on Laser Precision Microfabrication (LPM)
  • 国際学会
• [学会発表] R. Kawamoto, M. Taichi, M. Kabuto, D. Watanabe, S. Izumi, M. Yoshimoto, and H. Kawaguchi, "A 1.15-TOPS 6.57-TOPS/W DNN Processor for Multi-Scale Object Detection (2020)
  • 著者名/発表者名: R. Kawamoto, M. Taichi, M. Kabuto, D. Watanabe, S. Izumi, M. Yoshimoto, and H. Kawaguchi
  • 学会等名: IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS)
  • 国際学会
• [学会発表] テーブル参照を用いたTernary圧縮・伸長アルゴリズムの検討 (2019)
  • 著者名/発表者名: 大原 遼太郎、川口 博
  • 学会等名: 情報論的学習理論ワークショップ(IBIS)
• [学会発表] 顕微鏡による焦点画像群を用いたレーザ加工溝形状の高速推定手法 (2019)
  • 著者名/発表者名: 成影 力、岡田 穣治、川口 博
  • 学会等名: レーザ加工学会講演会
• [学会発表] メモリ容量と帯域幅削減のための分散深層学習ハードウェア (2019)
  • 著者名/発表者名: 川口 博
  • 学会等名: miniCANDARシンポジウム
  • 招待講演
• [学会発表] 分散深部学習におけるメモリと帯域幅削減のためのレイヤーブロックワイズパイプライン (2018)
  • 著者名/発表者名: 森陽紀、陽川哲也、和泉慎太郎、吉本雅彦、川口博、井上敦樹
  • 学会等名: LSIとシステムのワークショップ
• [学会発表] 28-nm FD-SOI Dual-Port SRAM with MSB-Based Inversion Logic for Low-Power Deep Learning (2018)
  • 著者名/発表者名: H. Mori, S. Izumi, H. Kawaguchi, and M. Yoshimoto
  • 学会等名: IEEE International Conference on Electronics, Circuits, and Systems (ICECS)
  • 国際学会
• [備考] 神戸大学大学院科学技術イノベーション研究科アーキテクチャ研究室
  • URL: https://www28.cs.kobe-u.ac.jp/
• [産業財産権] 顕微鏡による焦点画像群を用いた形状計測方法及び装置 (2019)
  • 発明者名: 2019
  • 権利者名: 2019
  • 産業財産権種類: 特許
  • 産業財産権番号: 2019-214798
  • 出願年月日: 2019