Linear Solvers for Machine Learning Hardware

2020 Fiscal Year Final Research Report

• Project/Area Number: 18H03248
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60090:High performance computing-related
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: Yokota Rio 東京工業大学, 学術国際情報センター, 准教授 (20760573)
• Co-Investigator(Kenkyū-buntansha): 大島 聡史 名古屋大学, 情報基盤センター, 准教授 (40570081) ; 伊田 明弘 東京大学, 情報基盤センター, 特任准教授 (80742121)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 機械学習向けプロセッサ / 階層的低ランク近似法 / TensorCore

Outline of Final Research Achievements

The trend in computer architecture has now shifted from general purpose accelerators to specialized hardware for machine learning. The present work focuses on the affinity between hierarchical low-rank approximation methods, and low-precision arithmetic units and tensor product accelerators in machine learning processors to develop a suitable linear algebra library for future architectures. In FY2018, we ported our H-matrix library to use batched MAGMA operations in order to take advantage of the tensor product accelerators. In FY2019, we optimized the inner kernels of the H-matrix by making use of TensorCores. In FY2020, we extended this work to recover the accuracy when using TensorCores and measured the energy efficiency.

Free Research Field

高性能計算

Academic Significance and Societal Importance of the Research Achievements

最近のコンピュータは人工知能が高速に動作するように特化しているが，環境，医療，量子，材料などの重点分野で用いられる科学技術計算をこのようなコンピュータ上でいかに高速に動作させるかは大きな課題である．本研究で提案する手法を用いることで，人工知能だけでなく，その他の多くの分野で行なう計算を次世代のコンピュータ上で高速に実行できるようになる．これから量産される高性能な人工知能専用計算機を汎用的な用途で用いることができれば，環境，医療，量子，材料の分野がますます発展することが予想される．