• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

大規模グラフ並列処理のための代数的構造に基づく理論基盤とプログラム開発基盤の構築

Research Project

Project/Area Number 26280020
Research InstitutionThe University of Electro-Communications

Principal Investigator

岩崎 英哉  電気通信大学, 情報理工学(系)研究科, 教授 (90203372)

Co-Investigator(Kenkyū-buntansha) 江本 健斗  九州工業大学, 大学院情報工学研究院, 准教授 (00587470)
松崎 公紀  高知工科大学, 情報学部, 准教授 (30401243)
胡 振江  国立情報学研究所, アーキテクチャ科学研究系, 教授 (50292769)
Project Period (FY) 2014-04-01 – 2018-03-31
Keywordsプログラミング方法論 / グラフ並列処理 / 領域特化言語 / 代数データ型 / 関数型言語
Outline of Annual Research Achievements

本研究は,大規模グラフデータを処理対象とする効率的な並列アプリケーションの開発を支援するシステムを構築することを目的とする.そのため,(1) グラフデータ中の代数的な構造を捉えたモデル化と理論的基盤の構築,(2) グラフ処理の柔軟な記述と最適化が可能な領域特化言語の設計と実装,(3) 領域特化言語で記述されたプログラムに対する大規模並列処理フレームワークの適用による並列処理システムの設計と実装を行う.
平成28年度の主な成果は以下の通りである.
第一に,グラフ処理のためのバルク同期並列による分散並列処理フレームワーク Pregel に基づき,グラフデータを循環を含む再帰的なデータ構造としてモデル化し,グラフデータ処理を記述するための関数型領域特化言語Fregel を設計した.Fregel は,Pregel におけるプログラミングの困難さを克服すべく,抽象度の高いプログラム記述を可能としている.
第二に,Fregel の処理系を作成しその性能評価を行った.この処理系は,Fregel プログラムを Pregel のオープンソース実装のひとつである Giraph プログラムへ変換する.さらに,他の並列処理フレームワークである Pregel+,GraphX への変換系も試作し,Fregel が様々な並列処理基盤の上に実装できることを示した.
第三に,Fregel を用いても記述しにくい頂点の部分集合を陽に扱うパターンのプログラム記述を支援するために,Fregel よりも一段高いレベルにある (Fregel とは別の) 領域特化言語を設計し,Fregel への変換系を試作した.
第四に,リモートデータアクセスが可能となる頂点中心グラフ処理のための高水準言語 Palgol を設し,Palgol プログラムから効率のよい Giraphプログラムを生成するシステムを実現した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究実績の概要に記述した通り,本研究はこれまでのところ,グラフデータのモデル化,モデル化に基づく領域特化言語 Fregel の設計,Fregel 処理系の複数の分散並列処理フレームワークへの実装,いくつかの例題プログラムを用いた有効性の確認を行っている.さらに,当初の申請段階にはなかった,特定のパターンに特化した処理の記述を可能とする言語,リモートデータアクセスが可能となるグラフ処理への対応なども行っている.
実際,Fregel に関する研究成果は,プログラミング言語分野における最高峰の国際会議のひとつである 21st ACM SIGPLAN International Conference on Functional Programming (ICFP 2016) に論文が採択され,口頭発表を行った.また,日本ソフトウェア科学会第34回大会における江本による発表「大規模グラフ並列処理のための関数型領域特化言語 Fregel とその評価」は,優れた論文発表に与えられる高橋奨励賞の受賞が決定している.
以上を総合的に判断して,「おおむね順調に進展」と評価した.

Strategy for Future Research Activity

今後は,今年度の研究成果を受けて以下の課題に取り組む.
(1) 最適化の定式化とコストモデルの構築:: メッセージ送受信を軽減する最適化,複数の独立した処理の組化,グラフ高階関数の組み合わせの融合などの最適化を,数学的に定式化して処理系に組み込む.さらに,このような最適化を議論する土台とすべく,バルク同期並列のコストモデルを参考にして,Fregel のコストモデルを構築する.
(2) 共通内部表現を利用した実装: Fregel プログラムを複数の並列処理フレームワークに変換するための共通の内部表現の設計と,この内部表現を利用して変換系の再実装を行い,Fregel の汎用性を実証する.
(3) パターンに特化した領域特化言語: 今年度に試作した,頂点の部分集合を用いるプログラムの記述を支援する領域特化言語を再設計し,効率のよい Fregel プログラムへの変換系を実装し,評価する.また,典型的なグラフ処理のパターンが他にも考えられるので,それぞれのパターンへの対応も検討する.
(4) システムの評価: 実例プログラムの数を増やし,複数の並列処理フレームワークへの変換結果の実行効率を定量的に評価した上で,本研究によるシステムの有効性を立証する.
来年度は最終年度なので,一流の国際会議における論文の採択を目指し論文を執筆すると同時に,全体のまとめのジャーナル論文の執筆も行う.

Causes of Carryover

今年度発表した国際会議 ICFP 2016 は日本国内で開催され,旅費が少なくて済んだため,来年度の対外発表の旅費等として残すこととした.

Expenditure Plan for Carryover Budget

来年度に予定している成果発表にかかわる旅費,会議参加費などの費用として使用する.

Remarks

日本ソフトウェア科学会第34回大会における江本による発表「大規模グラフ並列処理のための関数型領域特化言語Fregelとその評価」は,優れた論文発表に与えられる高橋奨励賞の受賞が決定している.

  • Research Products

    (14 results)

All 2017 2016 Other

All Journal Article (3 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 3 results) Presentation (10 results) (of which Int'l Joint Research: 2 results) Remarks (1 results)

  • [Journal Article] Towards Systematic Parallelization of Graph Transformations Over Pregel2017

    • Author(s)
      Le-Duc Tung, Zhenjiang Hu
    • Journal Title

      International Journal of Parallel Programming

      Volume: 45 Pages: 320-339

    • DOI

      10.1007/s10766-016-0418-5

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] A Generator of Hadoop MapReduce Programs that Manipulate One-dimensional Arrays2017

    • Author(s)
      Reina Miyazaki, Kiminori Matsuzaki, Shigeyuki Sato
    • Journal Title

      Journal of Information Processing

      Volume: 印刷中 Pages: 印刷中

    • DOI

      -

    • Peer Reviewed
  • [Journal Article] Let High-level Graph Queries Be Parallel Efficient: An Approach Over Structural Recursion On Pregel2016

    • Author(s)
      Chong Li, Le-Duc Tung, Xiaodong Meng, Zhenjiang Hu
    • Journal Title

      Journal of Information Processing

      Volume: 24 Pages: 928-936

    • DOI

      10.2197/ipsjjip.24.928

    • Peer Reviewed / Int'l Joint Research
  • [Presentation] Implementing distributed backpropagation algorithm using Apache Giraph2017

    • Author(s)
      Amogh Rathore, Hideya Iwasaki
    • Organizer
      第19回プログラミングおよびプログラミング言語ワークショップ (PPL 2017) (カテゴリ1)
    • Place of Presentation
      華やぎの章 慶山 (山梨県笛吹市)
    • Year and Date
      2017-03-08 – 2017-03-10
  • [Presentation] 頂点部分集合変数を備えた大規模グラフ計算用領域特化言語2017

    • Author(s)
      定平 典久, 江本 健斗
    • Organizer
      第19回プログラミングおよびプログラミング言語ワークショップ (PPL 2017) (カテゴリ1)
    • Place of Presentation
      華やぎの章 慶山 (山梨県笛吹市)
    • Year and Date
      2017-03-08 – 2017-03-10
  • [Presentation] Pregel+プログラムの性能解析2017

    • Author(s)
      寺口 守, 佐藤 重幸, 松崎 公紀
    • Organizer
      第19回プログラミングおよびプログラミング言語ワークショップ (PPL 2017) (ポスター)
    • Place of Presentation
      華やぎの章 慶山 (山梨県笛吹市)
    • Year and Date
      2017-03-08 – 2017-03-10
  • [Presentation] Spark GraphXへのFregelコンパイラ2017

    • Author(s)
      中島 拓, 江本 健斗
    • Organizer
      第19回プログラミングおよびプログラミング言語ワークショップ (PPL 2017) (ポスター)
    • Place of Presentation
      華やぎの章 慶山 (山梨県笛吹市)
    • Year and Date
      2017-03-08 – 2017-03-10
  • [Presentation] 一次元配列を操作するプログラムに対するHadoop MapReduceプログラム生成系2017

    • Author(s)
      宮崎 玲奈, 松崎 公紀, 佐藤 重幸
    • Organizer
      情報処理学会第112回プログラミング研究会
    • Place of Presentation
      沖縄県男女共同参画センター (沖縄県那覇市)
    • Year and Date
      2017-01-10
  • [Presentation] s6raph: Vertex-centric Graph Processing Framework with Functional Interface2016

    • Author(s)
      Onofre Coll Ruiz, Kiminori Matsuzaki, and Shigeyuki Sato
    • Organizer
      Proceedings of the 5th ACM SIGPLAN Workshop on Functional High-Performance Computing (FHPC 2016)
    • Place of Presentation
      Nara, Japan
    • Year and Date
      2016-09-22
    • Int'l Joint Research
  • [Presentation] Think like a vertex, behave like a function! a functional DSL for vertex-centric big graph processing2016

    • Author(s)
      Kento Emoto, Kiminori Matsuzaki, Zhenjiang Hu, Akimasa Morihata, Hideya Iwasaki
    • Organizer
      Proceedings of the 21st ACM SIGPLAN International Conference on Functional Programming (ICFP 2016)
    • Place of Presentation
      Nara, Japan
    • Year and Date
      2016-09-19 – 2016-09-21
    • Int'l Joint Research
  • [Presentation] 大規模グラフ並列処理のための関数型領域特化言語 Fregel とその評価2016

    • Author(s)
      江本 健斗, 松崎 公紀, 胡 振江, 森畑 明昌, 岩崎 英哉
    • Organizer
      日本ソフトウェア科学会第33回大会講演論文集
    • Place of Presentation
      東北大学 (宮城県仙台市)
    • Year and Date
      2016-09-07 – 2016-09-09
  • [Presentation] Describing Pregel Algorithms with Non-adjacent Data Communication2016

    • Author(s)
      Yongzhe Zhang, Hsiang-Shang Ko, Zhenjiang Hu
    • Organizer
      日本ソフトウェア科学会第33回大会講演論文集
    • Place of Presentation
      東北大学 (宮城県仙台市)
    • Year and Date
      2016-09-07 – 2016-09-09
  • [Presentation] データ依存を持つ繰り返し計算アルゴリズムからのHadoop MapReduceプログラムの生成2016

    • Author(s)
      宮崎 玲奈, 松崎 公紀
    • Organizer
      日本ソフトウェア科学会第33回大会講演論文集
    • Place of Presentation
      東北大学 (宮城県仙台市)
    • Year and Date
      2016-09-07 – 2016-09-09
  • [Remarks] Fregel Project

    • URL

      http://ipl.cs.uec.ac.jp/~iwasaki/Fregel/

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi