タスクと実行環境の高精度モデルに基づくスケーラブルなタスクスケジューリング技術

• Project Area: Cyber Infrastructure for the Information-explosion Era
• Project/Area Number: 21013025
• Research Category: Grant-in-Aid for Scientific Research on Priority Areas
• Allocation Type: Single-year Grants
• Review Section: Science and Engineering
• Research Institution: Mie University
• Principal Investigator: 大野 和彦 三重大学, 大学院・工学研究科, 講師 (20303703)
• Co-Investigator(Kenkyū-buntansha): 中島 浩 京都大学, 学術情報メディアセンター, 教授 (10243057)
• Project Period (FY): 2009 – 2010
• Project Status: Completed (Fiscal Year 2010)
• Budget Amount: ¥6,200,000 (Direct Cost: ¥6,200,000); Fiscal Year 2010: ¥3,200,000 (Direct Cost: ¥3,200,000); Fiscal Year 2009: ¥3,000,000 (Direct Cost: ¥3,000,000)
• Keywords: 並列処理 / スケジューリング / 性能モデリング / 分散処理 / ワークフロー / 広域分散

Research Abstract

本課題の目的は、ITシステム基盤を支える実用技術の一環として超大規模計算タスク群のスケジューリング手法を開発することであり、高精度でスケーブルかつ他の基盤技術との協調を目指しでいる。従来の研究成果であるタスクの実行性能モデリング技術と、それ利用したスケジューリング手法をベースとし、これを発展させる形で研究を行っている。
本年度は実環境の性能変動に対応するため、動的スケジューリングの研究を行った。動的な変動に対し良いスケジューリング長を保ち続けるには変動のたびに静的スケジューリングを再実行する動的再スケジューリング手法が有効であるが、頻繁に変動が生じる実環境ではスケジューリングコストが大きく実用的でない。そこで、変動をトリガーとする従来の手法に対し、タスクの終了をトリガーとする手法を提案した。さらに、スケジューリング結果に大きく影響するタスクの終了時のみをトリガーとすることで、再スケジューリング回数を大幅に削減した。シミュレーション評価の結果、提案手法により再スケジューリング回数が数百分の一に抑えられる一方で、スケジューリング長の悪化は5%程度にとどまった。
また、前年度の成果である大規模ワークフローの縮約手法について、詳細な設計および実装・評価を行った。性能評価の結果、完全縮約可能な場合の必要メモリ量は規模に依らず、ランダムなワークフローで80KB程度、単純な実ワークフローでは2KBであり、100万タスクで200MBほどを必要とする従来手法に対し、大幅に削減できた。
さらに、性能モデルの高性能計算への応用として、多次元配列を時間方向にタイリンゲすることでキャッシュを有効活用する最適化手法を時間発展シミュレーションに適用する際の最適パラメータ推定を行った。京大のT2K Open Supercomputer上で評価した結果、2次元拡散方程式の陽的求解や3次元FDTD法においてほぼ最適なパラメータが得られ、前者ではタイリングを使用しない場合に対して約2倍の速度向上を得ることができた。

Research Products

• [Journal Article] キャッシュメモリを考慮したFDTDカーネルの性能改善 (2011)
  • Author(s): 南武志, 岩下武史, 高橋康人, 中島浩
  • Journal Title: 情報処理学会論文誌:コンピューティングシステム Volume: 4巻1号 Pages: 1-7
  • NAID: 110007995466
  • Peer Reviewed
• [Journal Article] 非均質環境における適応型スケジューリング手法の提案と評価 (2010)
  • Author(s): 松本真樹, 片野聡, 佐々木敬泰, 大野和彦, 近藤利夫, 中島浩
  • Journal Title: 電子情報通信学会論文誌 Volume: J93-D巻6号 Pages: 693-704
  • NAID: 110007618344
  • Peer Reviewed
• [Journal Article] An Efficient Vector Transfer for Sparse Matrix-Vector Multiplication on Distributed Memory Systems (2010)
  • Author(s): Hiroshi Nakashima, Toshiyuki Fukuhara, Takeshi Iwashita
  • Journal Title: IPSJ SIG Notes Volume: 2010巻9号 Pages: 1-6
  • NAID: 110007995470
• [Journal Article] An Efficient Vector Transfer for Sparse Matrix-Vector Multiplication on Distributed Memory Systems (2010)
  • Author(s): Hiroshi Nakashima., Toshiyuki Fukuhara, Takeshi Iwyashita
  • Journal Title: IPSJ Technical Report 2010-HPC-124No.9 Pages: 1-6
  • NAID: 110007995470
• [Journal Article] An Adaptive Scheduling Scheme for Large-Scale Workflows on Heterogeneous Environments (2009)
  • Author(s): Kazuhiko Ohno, Masaki Matsumoto, Takahiro Sasaki, Toshio Kondo, Hiroshi Nakashima
  • Journal Title: Proceedings of Intl. Conf. on Parallel and Distributed Computing and Systems Pages: 165-174
  • Peer Reviewed
• [Presentation] 配列の縮約表現による大規模ワークフローの効率的実装手法 (2011)
  • Author(s): 大野和彦, 三田明宏, 松本真樹, 佐々木敬泰, 近藤利夫, 中島浩
  • Organizer: 第82回PRO研究会
  • Place of Presentation: 宮古島市
  • Year and Date: 2011-01-21
• [Presentation] 静的情報を用いた動的再スケジューリングのオーバーヘッド削減手法 (2011)
  • Author(s): 松本真樹, 佐々木敬泰, 大野和彦, 近藤利夫, 中島浩
  • Organizer: 第82回PRO研究会
  • Place of Presentation: 宮古島市
  • Year and Date: 2011-01-21
• [Presentation] Dynamic Rescheduling Scheme for Large-Scale Workflows (2010)
  • Author(s): Masaki Matsumoto, Kazuhiko Ohno, Takahiro Sasaki, Toshio Kondo, Hiroshi Nakashima
  • Organizer: International Conference on Parallel and Distributed Computing and Systems 2010
  • Place of Presentation: 米国ロサンジェルス市
  • Year and Date: 2010-11-09
• [Presentation] Efficient Implementation of Large-scale Workflows based on Array Contraction (2010)
  • Author(s): Kazuhiko Ohno, Akihiro Mita, Masaki Matsumoto, Takahiro Sasaki, Toshio Kondo, Hiroshi Nakashima
  • Organizer: International Conference on Parallel and Distributed Computing and Systems 2010
  • Place of Presentation: 米国ロサンジェルス市
  • Year and Date: 2010-11-09
• [Presentation] 大規模ワークフローを対象とする動的スケジューリング手法における静的情報の利用 (2010)
  • Author(s): 松本真樹, 佐々木敬泰, 大野和彦, 近藤利夫, 中島浩
  • Organizer: 2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップ
  • Place of Presentation: 金沢市
  • Year and Date: 2010-08-03
• [Presentation] 非均質環境における選択型スケジューリング手法 (2009)
  • Author(s): 松本真樹, 片野聡, 佐々木敬泰, 大野和彦, 近藤利夫, 中島浩
  • Organizer: 情報処理学会第75回プログラミング研究会
  • Place of Presentation: 仙台市
  • Year and Date: 2009-08-06
• [Presentation] 並列デバッガにおける情報視覚化手法 (2009)
  • Author(s): 松下圭吾, 谷口和也, 松本真樹, 大野和彦, 佐々木敬泰, 近藤利夫, 中島浩
  • Organizer: 情報処理学会第75回プログラミング研究会
  • Place of Presentation: 仙台市
  • Year and Date: 2009-08-06