Distributed Data Management Library for Large-Scale Many-Core Clusters and its Integration with Dynamic Load Balancers

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K11841
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60090:High performance computing-related
• Research Institution: Konan University (2022); Kobe University (2020-2021)
• Principal Investigator: Kamada Tomio 甲南大学, 知能情報学部, 准教授 (20304131)
• Co-Investigator(Kenkyū-buntansha): Finnerty Patrick・Martin 神戸大学, システム情報学研究科, 助教 (50957628)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 動的負荷分散 / 分散集合ライブラリ / メニーコアクラスタ

Outline of Final Research Achievements

This research aims to provide distributed collection libraries for many-core large-scale clusters and enables dynamic load-balancing over them. We developed (1) a self-adjusting task granularity mechanism for our global load balancer library to avoid contention on many‐core clusters and (2) a series of relocatable distributed collections featuring inter/intra-node parallelism.
For integrating load-balancer and distributed collections, we developed (3a) a global load balancer for distributed arrays involving range-based element relocation. In addition, we developed (3b) a distributed cell set that allows the easy description of communication/computation overlapping and relationships between inter-node communication and its dependent computations.

Free Research Field

並列分散処理 プログラミング言語

Academic Significance and Societal Importance of the Research Achievements

今後、スーパーコンピュータの用途が広がりや計算の高知能化により、並列プログラムの不規則化が予想される。例えば、状況に応じて大規模な計算をする知的なエージェントをシミュレートする場合、負荷状況に応じた計算資源の再割り当てが必要になる。一方で、現在のスーパーコンピュータでは、メニーコアプロセッサが一般化するなど、より大規模化・複雑化が進んでいる。
ノード間にまたがるデータ・タスク配置管理の今後のさらなる複雑化に対応するため、本研究では、メニーコア環境における要素の再配置可能な大規模分散データ管理ライブラリを開発するとともに、自動負荷分散機構との融合に向けた研究をおこなった。