超並列計算機用自動並列化コンパイラに関する共同研究

• 研究課題/領域番号: 06044147
• 研究種目: 国際学術研究
• 配分区分: 補助金
• 応募区分: 共同研究
• 研究機関: 九州大学 (1996); 奈良先端科学技術大学院大学 (1994-1995)
• 研究代表者: 荒木 啓二郎 九州大学, 大学院・システム情報科学研究科, 教授 (40117057)
• 研究分担者: HAGHIGHAT Mo インテル/マイクロプロセッサ研究所, 主任研究員 ; VEIDENBAUM A イリノイ大学, 電気工学/計算機科学科, 準教授 ; POLYCHRONOPO コンスタンチン イリノイ大学, 電気計算機工学科, 準教授 ; 山本 和彦 奈良先端科学技術大学院大学, 情報科学研究科, 助手 (50263439) ; 笹倉 万理子 (笹倉 万里子) 岡山大学, 工学部, 助手 (30284087) ; 岡村 耕二 神戸大学, 総合情報処理センター, 助手 (70252830) ; 佐藤 周行 九州大学, 大学院・システム情報科学研究科, 助教授 (20225999) ; 最所 圭三 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (50170486) ; 平原 正樹 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (10192717) ; 福田 晃 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (80165282) ; POLYCHRONOPOULOS Constan University of Illinois at Urbana-Chamgpain ; MOHAMMAD Hag インテル, マイクロプロセッサ研究所, 主任研究員 ; ALEX Veidenb イリノイ大学, 電気工学/計算機科学科, 準教授 ; CONSTANTINE ポリクロノポーラス イリノイ大学, 電気計算機工学科, 準教授 ; BECHMAN Carl ダートマス大学, 電気計算機工学科, 助教授 ; CONSTANTINE ポリクロノポーロス イリノイ大学, 電気ー計算機工学科, 準教授
• 研究期間 (年度): 1994 – 1996
• 研究課題ステータス: 完了 (1996年度)
• 配分額: 11,100千円 (直接経費: 11,100千円); 1996年度: 3,700千円 (直接経費: 3,700千円); 1995年度: 4,200千円 (直接経費: 4,200千円); 1994年度: 3,200千円 (直接経費: 3,200千円)
• キーワード: 自動並列化コンパイラ / データ分割 / 視覚化 / スケジューリング / 性能評価 / 命令レベル並列性抽出 / 中間表現 / 分散処理 / タスク分割 / 並列性抽出 / データ配置 / ループ並列化

研究概要

平成8年度は、自動並列化コンパイラのための視覚化、依存を含むループの最小実行時間を静的に見積もる手法、分散メモリ型並列計算機に対する自動並列化コンパイラ、性能指向型自動並列化コンパイラの4サブテーマを中心に研究を行なった。また、本国際共同研究のまとめを行ない、報告書を作成した。
1.自動並列化コンパイラのための視覚化システム
本国際共同研究では、最終的な目標の一つとして、自動並列化コンパイラのフロントエンド部とバックエンド部の統合がある。本研究グループでは、それらの共通の中間表現として、相手側研究グループで提案された階層的タスク・グラフを有力な候補として考えていたが、これは実際のプログラムに適用されると、非常に複雑かつ大規模なデータ構造となり、人間が直観的に理解するのに適さない。
そこで、本研究グループでは、並列化支援視覚化システムNaraViewを開発した。NaraViewは並列プログラムのプログラム構造、データ依存、制御依存、ソース・プログラムの4種類の構造を、三次元的に視覚化するものであり、並列化支援のためのシステムとして使われるだけでなく、自動並列化コンパイラ研究のための強力な解析ツールとしても利用可能である。
NaraViewのプログラム構造視覚化は、自動並列化コンパイラの中間表現として使われる階層的タスク・グラフを3次元的に視覚化したものである。この機能により、並列プログラムの時間的な流れ、並列性、ループ・ネストの階層を一目で理解することができる。また、NaraViewのデータ依存視覚化は、ループ中でアクセスされる配列を含む変数を二次元的に表し、ループのどのイタレーションで、どのようなアクセスが行なわれるか、その結果どのようなデータ依存が生じるか、といったことを一目で理解するための機能である。
2.依存を含むループの最小実行時間の見積り
平成7年度には、データとプログラムの両方を同時に分割する手法に関する研究を行なったが、これを実際のスケジューリングに適用するには、ループの最小実行時間の見積りが必要であった。特に、ループ中の異なるイタレーション間でデータ依存がある場合は、ループを展開して実行ステップを数えなければならない。しかしながら、ループを展開する手法は計算コストが高く、ループ全体を対象とするスケジューリングに適用するには問題があった。
そこで、本研究グループでは、このような場合、ループを展開することなく、その最小実行時間を見積もる手法を開発した。これは、ループ・ボディのみから、ループ・タスク・グラフと呼ばれるタスク・グラフを作成し、各データ依存を表す辺にイタレーションごとの重複度を重さとして与え、そこからループ実行の最短経路を求めるのに線形計画法を利用したものである。実験の結果、その解は非常に高速に求まり、その計算時間はループの繰り返し数に無関係であることが分かった。
3.分散メモリ型並列計算機に対する自動並列化コンパイラ
本研究は分散共有メモリ型並列計算機に対する自動並列化コンパイラの開発が主目的で、その技術をメッセージ・バッシング型並列計算機に適用することを予定していたが、本研究成果は、最近注目されているワークステーション・クラスタを含む、より一般的な分散メモリ型並列計算機にも適用可能であることが判明した。そこで、平成8年度には、共有メモリ型並列計算機を対象とした並列プログラムを、分散メモリ型並列計算機を対象とした形に変換する自動分散化コンパイラを新たに開発した。現在、本研究の成果の一つであるデータ分割配置の手法を、この自動分散化コンパイラに組み込み、全体として逐次プログラムを並列/分散システム上で効率良く稼働可能な並列プログラムに変換することのできる、自動並列分散化コンパイラの検討を行なっている。
4.性能指向型自動並列化コンパイラの研究
本研究サブテーマでは、与えられた並列計算機と並列プログラムに対して、最大の性能が得られるような並列性抽出手順を導き出すことに焦点を置いている。一般に並列性抽出手順の複雑さは、当該並列性抽出手法の順列組合せとなるため、各手順での評価時間が極めて小さくなければならない。平成7年度には、マイクロ秒のオーダーで当該性能予測を行なう並列計算機に対する解析モデルを構築したが、平成8年度には当該研究を論文としてまとめ、さらに無効化放送型のキャッシュ・コヒーレンス・プロトコルを対象としていた当該解析モデルを、書き込み放送型のプロトコルに適用可能となるように拡張した。
5.研究成果報告書の作成
平成6年度〜8年度の3年間にわたる本国際共同研究の研究成果をまとめ、研究成果報告書を日本語版、英語版の二種類で作成した。

研究成果

• [文献書誌] Kazuki Joe: "Analytic Modeling of cache Coherence Based Parallel Computers" 電子情報通信学会英文誌. E79-D,7. 925-935 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Tsuneo Nakanishi: "Estimating Parallel Execution of loops with Loop-carried Dependences" Proc.International Conference on Parallel Processing. 3. 61-68 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Tsuneo Nakanishi: "Estimating Minimum Execution Time of Perfect Loop Nests with Loop-Carried Dependences" Proc.9th International Workshop on Language and Compiers for Parallel Computing. 352-353 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Mariko Sasakura: "3D Visualization of Program Structure and Data Dependence for Parallelizing Compilers and Parallel Programming" Proc.9th International Workshop on Language and Compiers for Parallel Computing. 348-349 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Takahiro Koita: "A Data Mapping Method to Reduce Cache Coherence Overhead" Proc.International Conference on Parallel and Distributed Processing Techniques and Applications. 2. 691-701 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Kazuki Joe: "Applying the Semi-Markov Memory and Cache Coherence Interference Model to an Updating Based Cache Coherence Protocol" Lecture Nores in Computer Science. 1124. 706-713 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 城和貴: "並列計算機の解析モデル" 情報処理学会誌. 37,6. 528-535 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 中西恒夫: "ループ最小並列実行時間を算出する一手法" 並列処理シンポジウム'96. 57-64 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 笹倉万理子: "並列化支援視覚化システムNaraViewにおけるプログラム情報の3次元表示法" 並列処理シンポジウム'96. 267-274 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 木和田智子: "並列化支援のためのデータ依存の3次元視覚化" 情報処理学会HPC研究会技術報告. 63,7. 37-42 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 小板隆浩: "構造解析の手法を応用した大規模負荷分散" 情報処理学会MPS研究会技術報告. 10,6. 41-48 (1996)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 笹倉万理子: "並列化支援視覚化システムNaraViewにおけるビュー間の連携方法について" 情報処理学会MPS研究会技術報告. 11,2. 7-12 (1997)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 齊藤哲哉: "Communication-Parallelism Graph (CPG)によるデータ自動分割手法" 情報処理学会MPS研究会技術報告. 11,4. 19-24 (1997)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Kazuki Joe: "Analytic Modeling of cache Coherence Based Parallel Computers" IEICE Trans.Inf.& Syst.E79-D. 925-935 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Tsuneo Nakanishi: "Estimating Parallel Execution of loops with Loop-carried Dependences" Proc.International Conference on Parallel Processing. 3. 61-68 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Tsuneo Nakanishi: "Estimating Minimum Execution Time of Perfect Loop Nests with Loop-Carried Dependences" Proc.9th International Workshop on Language and Compiers for Parallel Computing. 352-353 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Mariko Sasakura: "3D Visualization of Program Structure and Data Dependence for Parallelizing Compilers and Parallel Programming" Proc.9th International Workshop on Language and Compiers for Parallel Computing. 348-349 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Takahiro Koita: "A Data Mapping Method to Reduce Cache Coherence Overhead" Proc.International Conference on Parallel and Distributed Processing Techniques and Applications. 2. 691-701 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Kazuki Joe: "Applyng the Semi-Markov Memory and Cache Coherence Interference Model to an Updating Based Cache Coherence Protocol" Lecture Notes in Computer Science. 1124. 706-713 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Kazuki Joe: "Analytic Model for Parallel Computers" Information Processing Society of Japan. 37. 528-535 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Tuneo Nakanishi: "Estimating Minimum Parallel Execution Time of Loops with Loop-Carried Dependences" Joint Symposium on Parallel Processing 96. 57-64 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Mariko Sasakura: "A Method for 3D Visualization of Program Information in Nara View" Joint Symposium on Parallel Processing 96. 267-274 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Satoko Kiwada: "3D Visualization of Data Dependence for Parallelization Support" IPSJ SIGHPC domestic workshop. 63-7. 37-42 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Takahiro Koita: "A Load Sharing Scheme for Large Scale Distributed Systems by Using a Structural Analysis Method" IPSJ SIGMPS domestic workshop. 10-6. 41-48 (1996)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Mariko Sasakura: "Views and their connection in Nara View" IPSJ SIGMPS domestic workshop. 11-2. 7-12 (1997)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Tetsuya Saito: "Automatic Data Partitioning Strategy with Communication-Parallelism Graph (CPG)" IPSJ SIGMPS domestic workshop. 11-4. 19-24 (1997)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Kazuki Joe: "Analytic Modeling of cache Coherence Based Parallel Computers" 電子情報通信学会英文誌. E79-D,7. 925-935 (1996)
• [文献書誌] Tsuneo Nakanishi: "Estimating Parallel Execution of loops with Lopp-carried Dependences" Proc.Intarnational Conference on Parallel Processing. 3. 61-68 (1996)
• [文献書誌] Tsuneo Nakanishi: "Estimating Minimum Execution Time of Perfect Loop Nests with Loop-Carried Dependences" Proc.9th International Workshop on Language and Compiers for Parallel Computing. 352-353 (1996)
• [文献書誌] Mariko Sasakura: "3D Visualization of Program Structure and Data Dependence for Parallelizing Compilers and Parallel Programming" Proc.9th International Workshop on Language and Compiers for Parallel Computing. 348-349 (1996)
• [文献書誌] Takahiro Koita: "A Data Mapping Method to Reduce Cache Coher-ence Overhead" Proc.International Conference on Parallel and Distributed Process-ing Techniques and Applications. 2. 691-701 (1996)
• [文献書誌] Kazuki Joe: "Applying the Semi-Markov Memory and Cache Co-herence Interference Model to an Updating Based Cache Coherence Protocol" Lecture Notes in Computer Science. 1124. 706-713 (1996)
• [文献書誌] 城 和貴: "並列計算機の解析モデル" 情報処理学会誌. 37,6. 528-535 (1996)
• [文献書誌] 中西 恒夫: "ループ最小並列実行時間を産出する一手法" 並列処理シンポジウム'96. 57-64 (1996)
• [文献書誌] 笹倉 万里子: "並列化支援視覚化システムNaraViewにおけるプログラム情報の3次元表示法" 並列処理シンポジウム'96. 267-274 (1996)
• [文献書誌] 木和田 智子: "並列化支援のためのデータ依存の3次元視覚化" 情報処理学会HPC研究会技術報告. 63,7. 37-42 (1996)
• [文献書誌] 小板 隆浩: "構造解析の手法を応用した大規模負荷分散" 情報処理学会MPS研究会技術報告. 10,6. 41-48 (1996)
• [文献書誌] 笹倉 万里子: "並列化支援視覚化システムNaraViewにおけるビュー間の連携方法について" 情報処理学会MPS研究会技術報告. 11,2. 7-12 (1997)
• [文献書誌] 斎藤 哲哉: "Communication-Parallelism Graph (CPG) によるデータ自動分割手法" 情報処理学会MPS研究会技術報告. 11,4. 19-24 (1997)
• [文献書誌] 笹倉万里子: "複合グラフを用いた階層タスクグラフの視覚化" 情報処理学会PRO研究会技術報告. 2-4. 25-32 (1995)
• [文献書誌] 城和貴: "Analytical Modeling of Cache Coherence Based Parallel Computers" 情報処理学会MPS研究会技術報告. 3-3. 13-18 (1995)
• [文献書誌] Tetsuya Saito: "An Analysis of the Sciddle Library on a Workstation Cluster : A Step Towards the Next Generation of Supercomputing" Proc.Parallel and Distributed Supercomputing Symposium. 104-111 (1995)
• [文献書誌] 丸川一志: "HTGの最適化手法への適応に関する考察" 情報処理学会HPC研究会技術報告. 58-1. 1-8 (1995)
• [文献書誌] 中西恒夫: "整数計画問題としてのループ並列実行時間の下限算出問題" 情報処理学会MPS研究会技術報告. 5-3. 13-18 (1996)
• [文献書誌] 中西恒夫: "ループによって運ばれる依存を有するループの並列実行時間の見積り" 情報処理学会ARC研究会技術報告. 117-5. 33-40 (1996)
• [文献書誌] Teruaki Kitasuka: "並列プログラムの局所化と並列化を支援するプロセッサ間通信" 並列処理シンポジウム'95. 297-304 (1995)
• [文献書誌] 北須賀輝明: "A Loop Parallelization Technique for Linear Dependence Vector" Proc.Parallel Architecture and Compiler Technology. 285-289 (1995)
• [文献書誌] 齊藤哲哉: "ワークステーションクラスタにおけるSciddleライブラリの評価" 情報処理学会DPS研究会技術報告. 71-16. 121-128 (1995)
• [文献書誌] Tuneo Nakanishi: "CDP^2 Algorithm-a Combined Data and Program Partitioning Algorithm on DPG" Proc.International Conference on Parallel Processing. 2. 177-181 (1995)
• [文献書誌] 中西恒夫: "CDPPアルゴリズム-DPG上での統合的データプログラム分割アルゴリズム" 情報処理学会HPC研究会技術報告. 57-24. 185-192 (1995)
• [文献書誌] 大森洋一: "OMT法による並列化コンパイラ中間言語フレームワークの構築" 情報処理学会PRO研究会技術報告. 2-5. 33-40 (1995)
• [文献書誌] 城和貴: "Applying the Semi-Markov Memory and Cache Coherence Interference Model to an Updating Based Cache Coherence Protocol" 情報処理学会MPS研究会技術報告. 6-2. 2-7 (1996)
• [文献書誌] 笹倉万里子: "並列化支援視覚化システムNara Viewにおけるプログラム情報の3次元表示法" 並列処理シンポジウム'96. (1996)
• [文献書誌] 中西恒夫: "ループ並列実行時間の下限を算出する一手法" 並列処理シンポジウム'96. (1996)
• [文献書誌] 城和貴: "Analytic Modeling of Cache Coherence Based Parallel Computers" 電子情報通信学会英文論文誌. (1996)
• [文献書誌] 笹倉 万里子: "形式化に基づく並列性抽出-既存逐次プログラムを並列実行するためのパラダイム" 情報処理学会ソフトウェア工学研究会技術報告. 94巻55号. 17-24 (1994)
• [文献書誌] 北須賀輝明: "線型依存ベクトルのループの並列性抽出法" 情処処理学会プログラミング言語・基礎・実践研究会技術報告. 94巻65号. 25-32 (1994)
• [文献書誌] 中西恒夫: "HDPG:階層データ分割グラフ" 情処処理学会ハイパフォーマンス・コンピューティング研究会技術報告. 94巻68号. 89-94 (1994)
• [文献書誌] Jose Moreira: "分散共有メモリ型並列計算機の自動スケジューリング手法" 情報処理学会計算機アーキテクチャ研究会技術報告. 94巻91号. 9-16 (1994)
• [文献書誌] Tuneo Nakanishi: "The Data Partitioning Graph:Extending Data and control Dependencies for Data Partitioning" Proc.7th Int'l Workshop on Languages and Compilers for Parallel Computing. 12.1-12.17 (1994)
• [文献書誌] Kazuki Joe: "The Semi-Markov Memory and Cache Coherence Interference Model" Proc.High Performance ComputingConferebce'94. 125-132 (1994)
• [文献書誌] Kazuki Joe: "An Analytic Model for a Hierarchical Parallel System" Proc.2nd Int'l Workshop on Massive Parallelism:Hardware,software and Applications. 236-244 (1994)
• [文献書誌] Yoichi Omori: "A Parametric Simulator for a Parallel Computer Using Address-Trace" Proc.International Computer Symposium. 979-985 (1994)
• [文献書誌] Tuneo Nakanishi: "The Data Partitioning Graph:Extending Data and Control Dependencies for Data Partitioning" Lecture Notes in Computer Science. Vol.892. 170-185 (1995)
• [文献書誌] 北須賀輝明: "並列プログラムの局所化と並列化を支援するプロセッサ間通信グラフ21GC10:並列処理シンポジウム'95" (1995)
• [文献書誌] Teruaki Kitasuka: "A Loop Parallelization Technique for Linear Dependence Vector" Proc.PACT'95. (1995)