2020 Fiscal Year Research-status Report
Distributed Data Management Library for Large-Scale Many-Core Clusters and its Integration with Dynamic Load Balancers
| Project/Area Number |
20K11841
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
鎌田 十三郎 神戸大学, システム情報学研究科, 講師 (20304131)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 動的負荷分散 / 分散集合ライブラリ |
|---|
| Outline of Annual Research Achievements |
本研究は，メニコア大規模クラスタのための分散データ管理ライブラリの研究開発と，その動的タスク管理機構との融合を目指した研究である．本研究は，(1) メニコア環境に対応した大規模動的負荷分散機構の研究を進めると同時に，(2) メニコア環境に対応した高並列データアクセスが可能な分散集合ライブラリの整備をおこない，かつ(3) プログラミングモデルの改良によりデータおよびタスクの連想関係を統合的に管理できるようにすることで，分散データ管理部と動的負荷分散機構などとの融合を目指す．
初年度である 2020 年度は，(1) については動的負荷分散機構の適応的タスク粒度管理機構の研究を拡充し論文誌に発表をおこなった．また，これまでの研究ではノード間タスク移動の際にデータ転送コストを考慮しなくてもよい問題を対象としてきたが，データ移動コストを考慮したタスク粒度管理手法についての研究も開始した．大規模実験については，68 コアNUMA CPU を持つOakforest-PACS を用いた評価をおこなっている．
(2) については，メニコア環境において複数スレッドからのデータ挿入およびその後のノード間データ再配置を考慮した分散連想配列の実装法の研究をすすめるとともに，ソフトウェア公開のための実装拡充もおこなった．
(3) については，フラット型データ構造 DistChunkedList を対象に，分散集合と動的負荷分散機構との融合をすすめた．加えて，複数の計算コンポーネントから構成されるようなプログラムについても，詳細なデータ配置を記述しない形で制御フローを素直に記述できるようなプログラミングモデルの研究を開始した．
ソフトウェアについては，https://github.com/handist/ で公開している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2020年はコロナ禍のため，遠隔授業対応などで研究時間が制限される場面もあったが，研究グループ所属学生の頑張りもあり，ほぼ当初予定通り研究活動をすすめることができた．
(1) については，タスク粒度の自動管理機構に関して，論文誌への採録が決定しており，また，また他の研究トピックについても，現在対外発表にむけて投稿準備中である．分散集合ライブラリについても 2021年 3月に First Release をおこなうことができた．
|
| Strategy for Future Research Activity |
基本的には，当初予定通りまずはフラット型データ構造（配列・連想配列）について，分散集合ライブラリの拡充および動的負荷分散機構との融合を果たしたのち，多次元データ構造や再帰データ構造を対象に分散データ管理およびタスクおよび関連データの再配置にむけた研究をすすめていく予定である．
2021年度前半は，初年次の研究成果について実アプリケーションを通して評価し，対外発表をすすめていく予定である．
ただ，既存ベンチマークなどを用いた評価や，フラット型データ構造を用いた owner computing rule に基づく分散データ配置だけでは，かならずしも動的負荷分散が必須でないケースも多く，状況によっては実用的なアプリケーション開発にむけて，再帰データ構造などとの連携を目指した研究を早期におこなう可能性を検討している．
|
| Causes of Carryover |
まず物品費については，当初研究開発用PCを購入する予定であったが，既存計算機および東大情報基盤センター提供の Oakforest-PACS を用いた研究開発が順調であったため，購入を見送っている．
また，出張旅費については，コロナ禍のため学会開催はほぼ全面的にオンライン開催に変更になったため，海外出張費だけでなく国内出張費も不要となったため．
当該費用については，次年度以降の人件費および計算機使用料に割り振ることで，研究の促進を図る予定である．
|
| Remarks |
Java GLB: 動的負荷分散ライブラリ（Java + APGAS ライブラリ想定）
Handist Collections: 分散集合ライブラリ（Java + APGAS ライブラリ想定）
|
