High-performance computing and data analysis support leveraging unused cores

2023 Fiscal Year Final Research Report

• Project/Area Number: 20H00580
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 60:Information science, computer engineering, and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: Hanawa Toshihiro 東京大学, 情報基盤センター, 教授 (30308283)
• Co-Investigator(Kenkyū-buntansha): 下川辺 隆史 東京大学, 情報基盤センター, 准教授 (40636049) ; 星野 哲也 名古屋大学, 情報基盤センター, 准教授 (40775946) ; 三木 洋平 東京大学, 情報基盤センター, 助教 (70734375) ; 伊田 明弘 国立研究開発法人海洋研究開発機構, 付加価値情報創生部門(地球情報科学技術センター), 主任研究員 (80742121)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 高性能計算 / メニーコア / 余剰コア / MPI / GPU / OpenMP / 非同期IO

Outline of Final Research Achievements

This research aims to improve the overall system performance and realize additional functions such as power control and profiling functions with low overhead by giving "extra cores" that do not directly contribute to the performance improvement of high-performance computation a role in supporting the main computation running on the CPU. We studied "UTHelper," a framework to realize such support functions at the user level.
As a result, we realized profiling and parallelism change during execution without modifying the user program, in situ analysis using extra cores, load balancing using dynamic core allocation to speed up lattice H-matrix operations, inter-GPU communication using extra cores, and utilization of idle arithmetic units through time-space blocking.

Free Research Field

高性能計算

Academic Significance and Societal Importance of the Research Achievements

近年の高性能計算システムにおいてCPUのコア数が増加し続けているが，全コアを使うのが最善だと誤解されることも多く，実際には消費電力や放熱，メモリバンド幅等の観点でコアをあえて使用せず残した方がよい場合がある．つまり「余剰コア」が生じる．本研究では，いくつかの実アプリケーションに対し，これらの余剰コアを補助的に用い，主計算を支援することによって，全体として性能向上を実現できることや，性能を落とさずに付加機能を実現できることを実例として示すことができた．