• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

雑音畳込みニューラルネットワークの研究開発

研究課題

研究課題/領域番号 19H04078
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分60040:計算機システム関連
研究機関東北大学 (2023)
東京工業大学 (2019-2022)

研究代表者

中原 啓貴  東北大学, 未踏スケールデータアナリティクスセンター, 教授 (20624414)

研究分担者 佐野 健太郎  国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (00323048)
佐藤 真平  信州大学, 学術研究院工学系, 准教授 (80782763)
研究期間 (年度) 2019-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)
2023年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2021年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2020年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
2019年度: 6,760千円 (直接経費: 5,200千円、間接経費: 1,560千円)
キーワードAI / Machine learning / FPGA / Machine Learning / ニューラルネットワーク / 雑音畳み込み / CNN / ノイズCNN / LSI / 深層学習 / 組込みシステム / 画像圧縮 / Deep Learning / 計算機システム / 高性能計算 / Noise Convolution
研究開始時の研究の概要

学習済みCNNのパラメータの統計的解析に元づく雑音畳込みニューラルネットワーク(雑音CNN)を提案する。雑音CNNは畳込み演算の大部分を雑音の畳込みで代用してパラメータを最大で約90%削減できる。本研究では、雑音CNNの雑音畳み込み回路を開発し、組込み機器向けに専用チップを設計する。また、雑音CNNの学習時間を短縮するため、FPGAベースの高速学習クラスタを開発する。FPGAによるプロトタイプ実装でさらなる性能向上を明らかにする。

研究成果の概要

雑音CNNは既存CNNと等価であることを導出した。雑音CNN専用回路の設計を行い、FPGAプロトタイプ実装を行った。雑音生成回路と1×1サイズ畳込みを組み合わせた構成に適したノイズ生成回路を調査し、回路実装した。GPUと比較して提案手法の優位性を示した。雑音CNN回路に既存のパラメータ削減方法である低ビット化と枝刈り手法を適用して更に性能向上させた。雑音畳み込みは既存畳み込みと等価なので、既存手法と組合せが可能であることを示した。また、雑音CNNの学習高速化のためのFPGAクラスタの環境構築を行い、雑音CNNの学習方式を検討した。

研究成果の学術的意義や社会的意義

電力やデバイスの制約で実現できなかった高度な認識技術が組込み機器に実現できた。また、設計のボトルネックであった学習時間が短縮された。研究期間後は、専用チップ化による更なる性能向上とコスト削減に取り組む予定である。

報告書

(6件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実績報告書
  • 2021 実績報告書
  • 2020 実績報告書
  • 2019 実績報告書
  • 研究成果

    (32件)

すべて 2023 2022 2021 2020 2019 その他

すべて 国際共同研究 (4件) 雑誌論文 (12件) (うち国際共著 2件、 査読あり 12件) 学会発表 (16件) (うち国際学会 16件、 招待講演 1件)

  • [国際共同研究] Imperial College London(英国)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] Imperial College London(英国)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] Imperial College London(英国)

    • 関連する報告書
      2021 実績報告書
  • [国際共同研究] Imperial College London(英国)

    • 関連する報告書
      2020 実績報告書
  • [雑誌論文] Remarn: A Reconfigurable Multi-threaded Multi-core Accelerator for Recurrent Neural Networks2023

    • 著者名/発表者名
      Zhiqiang Que, Hiroki Nakahara, Hongxiang Fan, He Li, Jiuxi Meng, Kuen Hung Tsoi, Xinyu Niu, Eriko Nurvitadhi, Wayne Luk:
    • 雑誌名

      ACM Trans. Reconfigurable Technol.

      巻: 16 ページ: 1-26

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Multilayer Perceptron Training Accelerator Using Systolic Array2022

    • 著者名/発表者名
      Takeshi Senoo, Akira Jinguji, Ryosuke Kuramochi, Hiroki Nakahara
    • 雑誌名

      EICE Trans. Inf. Syst.

      巻: 105-D(12) ページ: 2048-2056

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Recurrent Neural Networks With Column-Wise Matrix-Vector Multiplication on FPGAs2022

    • 著者名/発表者名
      Zhiqiang Que, Hiroki Nakahara, Eriko Nurvitadhi, Andrew Boutros, Hongxiang Fan, Chenglong Zeng, Jiuxi Meng, Kuen Hung Tsoi, Xinyu Niu, Wayne Luk
    • 雑誌名

      IEEE Trans. Very Large Scale Integr. Syst.

      巻: 30(2) ページ: 227-237

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Optimizations of Ternary Generative Adversarial Networks2022

    • 著者名/発表者名
      Kennichi Nakamura, Hiroki Nakahara
    • 雑誌名

      IEEE Int. Symp. on Multi-valued Logic (ISMVL)

      ページ: 158-163

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Fast Interface with Ensemble Ternary Neural Network2022

    • 著者名/発表者名
      Ryota Kayanoma, Hiroki Nakahara
    • 雑誌名

      IEEE Int. Symp. on Multi-valued Logic (ISMVL)

      ページ: 182-187

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Energy-Efficient ECG Signals Outlier Detection Hardware Using a Sparse Robust Deep Autoencoder2021

    • 著者名/発表者名
      Naoto Soga, Shimpei Sato, Hiroki Nakahara
    • 雑誌名

      IEICE Trans. Inf. Syst

      巻: 104-D(8) ページ: 1121-1129

    • NAID

      130008070358

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Weight Sparseness for a Feature-Map-Split-CNN Toward Low-Cost Embedded FPGAs2021

    • 著者名/発表者名
      Akira Jinguji, Shimpei Sato, Hiroki Nakahara
    • 雑誌名

      IEICE Trans. Inf. Syst.

      巻: 104-D(12) ページ: 2040-2047

    • NAID

      130008123390

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] A Low-Latency Inference of Randomly Wired Convolutional Neural Networks on an FPGA2021

    • 著者名/発表者名
      Ryosuke Kuramochi, Hiroki Nakahara
    • 雑誌名

      IEICE Trans. Inf. Syst.

      巻: 104-D(12) ページ: 2068-2077

    • NAID

      130008123389

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] FPGA-Based Inter-layer Pipelined Accelerators for Filter-Wise Weight-Balanced Sparse Fully Convolutional Networks with Overlapped Tiling2021

    • 著者名/発表者名
      Masayuki Shimoda, Youki Sada, Hiroki Nakahara
    • 雑誌名

      J. Signal Process. Syst.

      巻: 93(5) ページ: 499-512

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] SENTEI: Filter-Wise Pruning with Distillation towards Efficient Sparse Convolutional Neural Network Accelerators2020

    • 著者名/発表者名
      Masayuki Shimoda, Youki Sada, Ryosuke Kuramochi, Shimpei Sato, Hiroki Nakahara
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E103.D 号: 12 ページ: 2463-2470

    • DOI

      10.1587/transinf.2020PAP0013

    • NAID

      130007948567

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2020-12-01
    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] GUINNESS: A GUI Based Binarized Deep Neural Network Framework for Software Programmers2019

    • 著者名/発表者名
      Hiroki Nakahara, Haruyoshi Yonekawa, Tomoya Fujii, Masayuki Shimoda, Shimpei Sato
    • 雑誌名

      IEICE Trans. Inf. Syst.

      巻: 102-D(5) ページ: 1003-1011

    • NAID

      130007641155

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Power Efficient Object Detector with an Event-Driven Camera for Moving Object Surveillance on an FPGA2019

    • 著者名/発表者名
      Masayuki Shimoda, Shimpei Sato, Hiroki Nakahara
    • 雑誌名

      IEICE Trans. Inf. Syst.

      巻: 102-D(5) ページ: 1020-1028

    • NAID

      130007641234

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [学会発表] A Light-Weight Vision Transformer Toward Near Memory Computation on an FPGA2023

    • 著者名/発表者名
      Takeshi Senoo, Ryota Kayanoma, Akira Jinguji, Hiroki Nakahara
    • 学会等名
      ARC
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] A Consideration on Ternary Adversarial Generative Networks2023

    • 著者名/発表者名
      Kennichi Nakamura, Hiroki Nakahara
    • 学会等名
      ISMVL
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] A Multilayer Perceptron Training Accelerator using Systolic Array2021

    • 著者名/発表者名
      Takeshi Senoo, Akira Jinguji, Ryosuke Kuramochi, Hiroki Nakahara
    • 学会等名
      IEEE APCCAS
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Edge Inference Engine for Deep & Random Sparse Neural Networks with 4-bit Cartesian-Product MAC Array and Pipelined Activation Aligner2021

    • 著者名/発表者名
      Kota Ando, Jaehoon Yu, Kazutoshi Hirose, Hiroki Nakahara, Kazushi Kawamura, Thiem Van Chu, Masato Motomura
    • 学会等名
      IEEE HCS
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] A High-Throughput Detection Circuit based on 2q+1-Valued Deep Neural Networks2021

    • 著者名/発表者名
      Naoto Soga, Ryosuke Kuramochi, Hiroki Nakahara
    • 学会等名
      IEEE ISMVL
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] High-Throughput Convolutional Neural Network on an FPGA by Customized JPEG Compression2020

    • 著者名/発表者名
      Hiroki Nakahara, Zhiqiang Que, Wayne Luk
    • 学会等名
      FCCM2020
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Optimizing Reconfigurable Recurrent Neural Networks2020

    • 著者名/発表者名
      Zhiqiang Que, Hiroki Nakahara, Eriko Nurvitadhi, Hongxiang Fan, Chenglong Zeng, Jiuxi Meng, Xinyu Niu, Wayne Luk
    • 学会等名
      FCCM2020
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] An FPGA-Based Low-Latency Accelerator for Randomly Wired Neural Networks2020

    • 著者名/発表者名
      Ryosuke Kuramochi, Hiroki Nakahara
    • 学会等名
      FPL2020
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 2n+1-valued SSS-Net: Uniform Shift, Channel Sparseness, and Channel Shuffle2020

    • 著者名/発表者名
      Hiroki Nakahara
    • 学会等名
      ISMVL2020
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Fast Monocular Depth Estimation on an FPGA2020

    • 著者名/発表者名
      Youki Sada, Naoto Soga, Masayuki Shimoda, Akira Jinguji, Shimpei Sato, Hiroki Nakahara
    • 学会等名
      IPDPS Workshops 2020
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Filter-Wise Pruning Approach to FPGA Implementation of Fully Convolutional Network for Semantic Segmentation2019

    • 著者名/発表者名
      Masayuki Shimoda, Youki Sada, Hiroki Nakahara
    • 学会等名
      ARC2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] FPGA-Based Training Accelerator Utilizing Sparseness of Convolutional Neural Network.2019

    • 著者名/発表者名
      Hiroki Nakahara, Youki Sada, Masayuki Shimoda, Kouki Sayama, Akira Jinguji, Shimpei Sato
    • 学会等名
      FPL2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] A Dataflow Pipelining Architecture for Tile Segmentation with a Sparse MobileNet on an FPGA2019

    • 著者名/発表者名
      Youki Sada, Masayuki Shimoda, Akira Jinguji, Hiroki Nakahara
    • 学会等名
      FPT 2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Noise Convolutional Neural Networks and FPGA Implementation2019

    • 著者名/発表者名
      Atsuki Munakata, Hiroki Nakahara, Shimpei Sato
    • 学会等名
      ISMVL 2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Many Universal Convolution Cores for Ensemble Sparse Convolutional Neural Networks2019

    • 著者名/発表者名
      Ryosuke Kuramochi, Youki Sada, Masayuki Shimoda, Shimpei Sato
    • 学会等名
      MCSoC 2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Deep Learning Accelerator for an Intelligent Camera2019

    • 著者名/発表者名
      Hiroki Nakahara
    • 学会等名
      HEART 2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演

URL: 

公開日: 2019-04-18   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi