2021 Fiscal Year Research-status Report
Distributed Data Management Library for Large-Scale Many-Core Clusters and its Integration with Dynamic Load Balancers
| Project/Area Number |
20K11841
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
鎌田 十三郎 神戸大学, システム情報学研究科, 講師 (20304131)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Finnerty Patrick・Martin 神戸大学, システム情報学研究科, 助教 (50957628)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 分散集合ライブラリ / 動的負荷分散 / メニ―コアクラスタ |
|---|
| Outline of Annual Research Achievements |
本研究は，メニコア大規模クラスタのための分散データ管理ライブラリの研究開発と，その動的タスク管理機構との融合を目指した研究である．本研究は，(1)メニコア環境に対応した大規模動的負荷分散機構の研究を進めると同時に，(2) メニコア環境に対応した高並列データアクセスが可能な分散集合ライブラリの整備をおこない，かつ(3) プログラミングモデルの改良によりデータおよびタスクの連想関係を統合的に管理できるようにすることで，分散データ管理部と動的負荷分散機構などとの融合を目指す．
2年目の2021年度は，当初計画通り (2) メニーコア対応分散集合ライブラリを拡充させることで，そのアプリケーション領域を拡充しつつ，(3) 動的負荷分散機能との融合を進めた．加えて，(1) 新たに開拓したアプリケーション領域を対象に，動的負荷分散の有効性及びライブラリの性能評価を進めた．(2) についてはジャーナル論文への投稿をおこない（現在審査中），(3) については査読付き国際会議に投稿し採録されている（発表は 2022年4月に実施済み）．
(1), (2) については，分子動力学および人工市場シミュレーションなどへの対応のため，２次元配列，１次元配列に対する多重ループ処理，連想配列に対するライブラリ拡充をおこなった．ライブラリおよびベンチマークは Github にてソフトウェア公開している．
(3) については，初年度から進めていた動的負荷分散機能のフラット型データ構造 DistChunkedList への導入を進め，オーナーコンピューティングタイプの計算である K-means および人工市場シミュレーションへの応用が可能となった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定通り，分散集合ライブラリの２次元配列や多重ループへの対応が進み，アプリケーション領域の拡大できた．加えて，フラット型データ構造への動的負荷分散機能の融合も進み，オーナーコンピューティングタイプの計算への動的負荷分散が可能となった．加えて，これらの研究成果も，すでに国際会議への発表およびジャーナル論文への投稿段階に到達することができた．
また，本研究に博士後期課程学生として参加してくれている Patrick Finnerty 氏が，神戸大学大学院システム情報学研究科助教に採用され，継続して本プロジェクトに共同研究者として参加することになった．
|
| Strategy for Future Research Activity |
2021年度まで利用してきた Oakforest-PACS が 2022年3月に退役したため，現在，理研のスーパーコンピュータ富岳にて開発・評価をすすめる準備を進めている．
研究については，分散集合ライブラリのメニ―コア実装技術のいくつかが未発表のため，その発表準備をすすめる．
また，現時点で対応できていないオーナーコンピューティングタイプではない分散プログラムへの動的負荷分散機能導入にむけたプログラミングモデルデザインおよび動的負荷分散時のタスクとデータ構造連携関係などについて研究を進めつつ，木構造データなどへの対応方法について検討を進める．
|
| Causes of Carryover |
当初予算では，物品費として研究開発用PCを購入する予定であったが，東大情報基盤センター提供の Oakforest-PACS を用いた研究開発が順調であったため，購入を見送った．
また，出張旅費については，コロナ禍のため学会開催はほぼ全面的にオンライン開催に変更になったため，海外出張費だけでなく国内出張費も不要となった．
当該費用については，来年度に予定される論文出版費用および計算機使用料に割り振ることで，研究の促進・成果反映のため利用する予定である．
|
Research Products
(7 results)
