Development of a Massively Parallel Machine Learning Environment for GPUs using Circuit Simulation

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K11735
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60040:Computer system-related
• Research Institution: Hiroshima University
• Principal Investigator: Ito Yasuaki 広島大学, 先進理工系科学研究科(工), 教授 (40397964)
• Co-Investigator(Kenkyū-buntansha): 中野 浩嗣 広島大学, 先進理工系科学研究科(工), 教授 (30281075)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 並列計算 / GPU / 機械学習 / 回路シミュレーション

Outline of Final Research Achievements

In machine learning computation using circuits, methods that perform bit-level operations have been proposed to achieve high-speed and high-accuracy computation by minimizing the degradation of recognition accuracy. In this study, we proposed a method that combines circuit simulation and bit parallelization, aiming to accelerate machine learning computation using the idea of massively parallel computation. We achieved a speedup of up to 300 times faster than sequential computation for convolutional neural networks. In addition, we also performed network model compression to further reduce execution time. Compared to existing network compression methods, this method achieves a high compression ratio with minimal loss of accuracy, and we have shown that it is possible to significantly reduce the execution time.

Free Research Field

高性能計算

Academic Significance and Societal Importance of the Research Achievements

本研究は機械学習計算の高速化において、新たなアプローチとして回路シミュレーションとビット並列化を組み合わせた手法を提案した．従来のソフトウェアアプローチによる高速化手法とは異なる視点から，計算の高スループット化を実現した．さらに，ネットワークモデルの圧縮により，実行時間の削減という観点からも新たな機械学習計算の高速化手法の提案を行った．機械学習は現代社会において重要な役割を果たしている一方，その高い性能を実現するためには大量の計算リソースが要求される．本研究の成果により，既存のGPUをより効率的な利用が可能となり様々な分野での研究や実用化が進むことが期待される．