• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Acceleration framework for training deep learning by cooperative with algorithms and computer architectures

Research Project

Project/Area Number 21K17768
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionTokyo University of Science

Principal Investigator

Maeda Yoshihiro  東京理科大学, 工学部電気工学科, 講師 (80843375)

Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywords深層学習 / 計算機アーキテクチャ / 高能率計算 / 高速化 / ハードウェアアクセラレーション
Outline of Research at the Start

本研究課題では,深層学習の学習過程の高速化を実現する基盤構築を目的とする.深層学習は,社会的基盤となりつつあるが,学習過程に多大な計算リソースと計算時間を必要とする.この計算リソースと計算時間の削減するために,計算量削減などのアルゴリズムの観点と専用演算器の有効活用などの計算機アーキテクチャの観点に着目する.これらの観点は,不可分な関係を持っている.本研究では,それぞれの観点を協調させることによって高速化を実現し,体系立てた基盤を構築することを目指す.

Outline of Final Research Achievements

In this research, we aimed to accelerate the training process of deep neural networks (DNNs) used in various fields. We focused on DNN optimization techniques such as pruning and quantization, which help simplify DNN models. Considering computer architecture viewpoints, our study explored how these techniques can be applied during training. We found that pruning and quantization-based algorithms can accelerate the training process for DNN by leveraging computer architecture.

Academic Significance and Societal Importance of the Research Achievements

本研究は, Deep neural network(DNN)の学習の高速化について検討をするものである.DNNは,画像処理分野では物体認識や超解像など様々なコンピュータビジョンにおけるタスクの更なる高精度化を実現している.DNNの活躍は画像処理分野だけにとどまらず,様々な研究領域での活用や産業界においても商用利用されている.本研究によって学習の高速化が実現でき,更なる活用の幅が広がるものである.

Report

(4 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (31 results)

All 2024 2023 2022 2021

All Journal Article (5 results) (of which Peer Reviewed: 5 results,  Open Access: 5 results) Presentation (26 results) (of which Int'l Joint Research: 7 results)

  • [Journal Article] Decomposed Multilateral Filtering for Accelerating Filtering with Multiple Guidance Images2024

    • Author(s)
      Nogami Haruki、Kanetaka Yamato、Naganawa Yuki、Maeda Yoshihiro、Fukushima Norishige
    • Journal Title

      Sensors

      Volume: 24 Issue: 2 Pages: 633-633

    • DOI

      10.3390/s24020633

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] SlidingConv: Domain-Specific Description of Sliding Discrete Cosine Transform Convolution for Halide2024

    • Author(s)
      Kanetaka Yamato、Takagi Hiroyasu、Maeda Yoshihiro、Fukushima Norishige
    • Journal Title

      IEEE Access

      Volume: 12 Pages: 7563-7583

    • DOI

      10.1109/access.2023.3345660

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] SIMD-Constrained Lookup Table for Accelerating Variable-Weighted Convolution on x86/64 CPUs2024

    • Author(s)
      Naganawa Yuki、Kamei Hirokazu、Kanetaka Yamato、Nogami Haruki、Maeda Yoshihiro、Fukushima Norishige
    • Journal Title

      IEEE Access

      Volume: 12 Pages: 15800-15819

    • DOI

      10.1109/access.2024.3354720

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Local look-up table upsampling for accelerating image processing2023

    • Author(s)
      Tsubokawa Teppei、Tajima Hiroshi、Maeda Yoshihiro、Fukushima Norishige
    • Journal Title

      Multimedia Tools and Applications

      Volume: 83 Issue: 9 Pages: 26131-26158

    • DOI

      10.1007/s11042-023-16405-7

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Gaussian Fourier Pyramid for Local Laplacian Filter2022

    • Author(s)
      Yuto Sumiya, Tomoki Otsuka, Yoshihiro Maeda, and Norishige Fukushima
    • Journal Title

      IEEE Signal Processing Letters

      Volume: 29 Pages: 11-15

    • DOI

      10.1109/lsp.2021.3121198

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] Optimization of CNN Structure based on Principal Component Analysis and Sparsification2024

    • Author(s)
      "A. Hirose, Y. Maeda, T. Hamamoto
    • Organizer
      International Workshop on Advanced Image Technology (IWAIT)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 重み分布に基づいたチャネルごとのクリップとビット割り当てによるCNNの量子化2023

    • Author(s)
      "峰尾光治, 前田慶博, 浜本隆之"
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 主成分分析とスパース化によるCNNモデルの構造決定とプルーニング2023

    • Author(s)
      "広瀬嵐, 前田慶博, 浜本隆之"
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 値域フーリエ級数展開画像群のウェーブレット変換による局所コントラスト操作2023

    • Author(s)
      "林晃平,前田慶博,福嶋慶繁"
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2023 Annual Research Report
  • [Presentation] Tensor Coreを用いたガウシアンフィルタの高効率実装2023

    • Author(s)
      "野上遥貴,前田慶博,福嶋慶繁"
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2023 Annual Research Report
  • [Presentation] Local Contrast Enhancement with Multiscale Filtering2023

    • Author(s)
      "K. Hayashi, Y. Maeda, and N. Fukushima"
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 重みの分布に応じた適応的なビット割り当てによるニューラルネットワークの量子化2023

    • Author(s)
      "峰尾光治,前田慶博,浜本隆之"
    • Organizer
      映像情報メディア学会年次大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Dataset of Subjective Assessment for Visually Near-Lossless Image Coding based on Just Noticeable Difference2023

    • Author(s)
      "S. Honda, Y. Maeda, and N. Fukushima"
    • Organizer
      International Conference on Quality of Multimedia Experience (QoMEX)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Sliding DFTを用いた畳み込みフィルタの効率的な記述2023

    • Author(s)
      金高倭士,前田慶博, 福嶋慶繁
    • Organizer
      電子情報通信学会画像工学研究会(IE)
    • Related Report
      2022 Research-status Report
  • [Presentation] Performance Evaluation of Halide Auto-Scheduler with Directional Cubic Convolution Interpolation2023

    • Author(s)
      Haruki Nogami, Sou Oishi, Tomohiro Sasaki,Yoshihiro Maeda, Norishige Fukushima
    • Organizer
      International Workshop on Advanced Image Technology (IWAIT)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 局所コントラスト変換によるエッジ保存型ウェーブレット変換2022

    • Author(s)
      林晃平, 福嶋慶繁,前田慶博
    • Organizer
      信号処理シンポジウム
    • Related Report
      2022 Research-status Report
  • [Presentation] Basic Study on Domain Specific Description of Convolution with Sliding DFT2022

    • Author(s)
      Yamato Kanetaka,Yoshihiro Maeda, Norishige Fukushima
    • Organizer
      International Workshop on Image Sensors and Imaging Systems (IWISS)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 主成分分析とスパース化によるCNNネットワーク構造の最適化2022

    • Author(s)
      広瀬嵐,前田慶博, 浜本隆之
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2022 Research-status Report
  • [Presentation] 近似バイラテラルフィルタのJust-Noticeable Differenceに基づく画質評価指標2022

    • Author(s)
      大石創,前田慶博, 福嶋慶繁
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2022 Research-status Report
  • [Presentation] CPUマイクロアーキテクチャに応じた整数2次元畳み込みの高効率ベクトル化2022

    • Author(s)
      近藤拓海,前田慶博, 福嶋慶繁
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2022 Research-status Report
  • [Presentation] サブ/スーパーガウシアン分布関数の近似高速化計算2022

    • Author(s)
      小島史也,前田慶博, 福嶋慶繁
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2022 Research-status Report
  • [Presentation] スライディング周波数変換を用いた畳み込みフィルタのドメイン固有言語2022

    • Author(s)
      金高倭士,前田慶博, 福嶋慶繁
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2022 Research-status Report
  • [Presentation] バイラテラルフィルタの近似誤差のJust-Noticeable Difference2022

    • Author(s)
      大石創,前田慶博,福嶋慶繁
    • Organizer
      電子情報通信学会画像工学研究会(IE)
    • Related Report
      2021 Research-status Report
  • [Presentation] ガウス分布重み計算の近似によるバイラテラルフィルタの高速化2022

    • Author(s)
      小島史也,前田慶博,福嶋慶繁
    • Organizer
      電子情報通信学会画像工学研究会(IE)
    • Related Report
      2021 Research-status Report
  • [Presentation] Color Transformation for Compressive Computing in Image Filtering2021

    • Author(s)
      Yoshihiro Maeda, Norishige Fukushima, and Takayuki Hamamoto
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Accelerating Finite Impulse Response Filtering Using Tensor Cores2021

    • Author(s)
      Takumi Kondo, Yoshihiro Maeda, and Norishige Fukushima
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] ガウシアンフーリエピラミッド~ローカルラプラシアンフィルタの高速化~2021

    • Author(s)
      角谷勇仁,大塚友貴,前田慶博,福嶋慶繁
    • Organizer
      電子情報通信学会画像工学研究会(IE)
    • Related Report
      2021 Research-status Report
  • [Presentation] Tensor CoreによるFIRフィルタの高速化2021

    • Author(s)
      近藤拓海,前田慶博,福嶋慶繁
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2021 Research-status Report
  • [Presentation] ローカルパッチ特徴の高速次元圧縮2021

    • Author(s)
      福嶋慶繁,前田慶博
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2021 Research-status Report
  • [Presentation] 行列演算機構を用いた積分画像生成の高速化の検討2021

    • Author(s)
      八木伸二, 前田慶博, 浜本隆之
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2021 Research-status Report
  • [Presentation] 人物移動軌跡推定のためのグラフニューラルネットワークに基づくリンク予測2021

    • Author(s)
      渡邉丈裕, 前田慶博, 杉村大輔, 浜本隆之
    • Organizer
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi