2013 Fiscal Year Research-status Report
ポストペタスケール計算機環境に向けた高可用分散協調スケジューリングの研究
| Project/Area Number |
25871199
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
竹房 あつ子 独立行政法人産業技術総合研究所, 情報技術研究部門, 主任研究員 (70345411)
|
|---|
| Project Period (FY) |
2013-04-01 – 2015-03-31
|
| Keywords | 並列分散処理 / 耐障害性 / ポストペタスケール / スケジューラ |
|---|
| Research Abstract |
本研究は，ポストペタスケール計算機環境でアプリケーションの実効性能を維持しつつプログラムの継続実行を支援する高可用分散協調スケジューラを実証することを目的としている．ポストペタスケール計算機環境では，階層型タスク並列が計算効率を高めるための有望なプログラミングモデルの1つと考えられているが，アプリケーションプログラムには障害が発生しても継続実行できる耐障害性が求められる．よって，階層型タスク並列アプリケーションプログラムの耐障害性を支援する高可用分散協調スケジューラのプロトタイプシステムを開発し，ポストペタスケール計算機環境における性能特性を調査する.
H25年度は，高可用分散協調スケジューラのプロトタイプシステムを開発した．高可用分散協調スケジューラでは，計算に必要となるデータを障害から保全するデータストア機構と，計算ノードの健全性を監視しつつ適切に計算を実行する資源管理機構が必要となる．これらを，ポストペタスケール計算機環境においてスケーラブルでかつ，それら自体が耐障害性を持つように設計・実装する必要がある．
よって，資源管理機構とデータストア機構からなる高可用分散協調スケジューラのプロトタイプを設計し，分散協調処理ライブラリApache ZooKeeperと分散キーバリューストア(KVS) Apache Cassandraを用いて開発した．資源管理機構にはタスクの管理，計算ノードの死活監視，障害発生時のタスク再実行／削除機能を実装し，データストア機構には結果整合性を保証するKVSを用いた．本スケジューラを用いた予備実験から，処理中に計算ノードが落ちてしまった場合も自動的にタスクが再実行され，アプリケーションプログラムが継続実行できることが確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
高可用分散協調スケジューラを実証するため，(1)高可用分散協調スケジューラのプロトタイプシステムの開発，(2)ポストペタスケール計算機環境を模擬した評価環境の構築、(3)様々な条件を考慮した高可用分散協調スケジューラの評価の研究開発を進めている．H25年度は，(1)プロトタイプシステムの開発と，(2)評価実験環境の構築の研究開発を予定していた．
(1)プロトタイプシステムの開発は，資源管理機構とデータストア機構からなる高可用分散協調スケジューラのプロトタイプを設計・開発した．
(2)評価実験環境の構築は，8コアCPUを搭載した実験用計算機を購入し，仮想計算機を用いた実験環境の整備を進めることができた．
|
| Strategy for Future Research Activity |
H26年度は，(1)高可用分散協調スケジューラのプロトタイプシステムを改良しつつ，構築した(2)ポストペタスケール計算機環境を模擬した評価実験環境において(3)プロトタイプシステムを用いた評価を行い，高可用分散協調スケジューラの設計指針を示す．
(1)で開発したスケジューラを実高性能計算環境に対応させるため，産総研で開発している耐障害性ミドルウェアfalanxへの移植を行う．また，(2)の評価環境や実環境に(1)のスケジューラを分散配備し，障害の発生状況や共有するデータ量，スケジューラプロセスの冗長度，適用する計算機システムのスケール等を変化させて，本スケジューラの基本性能を調査する．また，アプリケーションプログラムおよびスケジューラの振る舞いの検証，ボトルネックの検出等を行い，ポストペタスケール計算機環境に向けたスケジューラの設計指針を示す．
|
| Expenditure Plans for the Next FY Research Funding |
海外での研究成果発表を予定していたが年度内に発表することができなかった。
H26年度前半にH25年度予定していた海外での研究成果発表を行う。
|
