Distributed Data Management Library for Large-Scale Many-Core Clusters and its Integration with Dynamic Load Balancers
| Project/Area Number |
20K11841
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60090:High performance computing-related
|
|---|
| Research Institution | Konan University (2022)
Kobe University (2020-2021) |
|---|
Principal Investigator |
Kamada Tomio 甲南大学, 知能情報学部, 准教授 (20304131)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Finnerty Patrick・Martin 神戸大学, システム情報学研究科, 助教 (50957628)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
|
|---|
| Keywords | 動的負荷分散 / 分散集合ライブラリ / メニーコアクラスタ / 通信と計算のオーバーラップ / メニ―コアクラスタ / メニ―コア / 分散データ / データ再配置 |
|---|
| Outline of Research at the Start |
本研究の目的は，社会事象シミュレーションのように不規則性の強い問題を対象に，
プログラマが容易に大規模分散データを作成し，計算状況に応じて容易に適切な計算ノードにデータを配置できる環境を実現することにある．
データの論理的な構造とデータ配置を分離し，計算局面に応じて各データ部位を計算ノードに（再）配置したりキャッシュすることができ，動的負荷分散などによるタスク移動との連携も可能とする．
|
| Outline of Final Research Achievements |
This research aims to provide distributed collection libraries for many-core large-scale clusters and enables dynamic load-balancing over them. We developed (1) a self-adjusting task granularity mechanism for our global load balancer library to avoid contention on many‐core clusters and (2) a series of relocatable distributed collections featuring inter/intra-node parallelism.
For integrating load-balancer and distributed collections, we developed (3a) a global load balancer for distributed arrays involving range-based element relocation. In addition, we developed (3b) a distributed cell set that allows the easy description of communication/computation overlapping and relationships between inter-node communication and its dependent computations.
|
| Academic Significance and Societal Importance of the Research Achievements |
今後、スーパーコンピュータの用途が広がりや計算の高知能化により、並列プログラムの不規則化が予想される。例えば、状況に応じて大規模な計算をする知的なエージェントをシミュレートする場合、負荷状況に応じた計算資源の再割り当てが必要になる。一方で、現在のスーパーコンピュータでは、メニーコアプロセッサが一般化するなど、より大規模化・複雑化が進んでいる。
ノード間にまたがるデータ・タスク配置管理の今後のさらなる複雑化に対応するため、本研究では、メニーコア環境における要素の再配置可能な大規模分散データ管理ライブラリを開発するとともに、自動負荷分散機構との融合に向けた研究をおこなった。
|
Report
(4 results)
Research Products
(19 results)
