2016 Fiscal Year Annual Research Report
Real-time Analytics Frameworks for Big Heterogeneous Data in Composite Parallel Computing Environments
| Project/Area Number |
26280037
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
北川 博之 筑波大学, 計算科学研究センター, 教授 (00204876)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
天笠 俊之 筑波大学, 計算科学研究センター, 准教授 (70314531)
塩川 浩昭 筑波大学, 計算科学研究センター, 助教 (90775248)
早瀬 康裕 筑波大学, システム情報系, 助教 (40423090)
渡辺 知恵美 筑波大学, システム情報系, 助教 (20362832)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 大規模不均質データ / データ分析 / 複合型並列計算環境 |
|---|
| Outline of Annual Research Achievements |
大規模不均質データ分析フレームワークに関しては，JSONを対象に，小粒度処理と大粒度処理を統合的に実行できるフレームワークJsFlowを開発した．これは，ストア型JSONとストリーム型JSONの両者が混在する処理フロータスクを実行可能なシステムである．プロトタイプ開発に当たっては，これまでのSparkに加えて，より柔軟性の高いFlinkを用いたシステムの開発を行い，複数のタスクを対象とした評価実験を行った．
大粒度・小粒度分析処理の高速化に関しては，昨年度に続いて，大粒度分析の並列処理と分散ストリーム処理に基づく小粒度処理に関する研究の高度化を進めた．大粒度分析に関しては，GPUを用いた類似結合の高速化とSIFT特徴量を用いた類似画像検索の高速化を実現した．また，新たにメニーコアプロセッサを用いたデータ分析高速化についても研究を推進した．具体的には，構造的類似度に基づくグラフクラスタリング，集合間類似結合の高速化である．さらに，大規模グラフに対するObjectRank計算の高速化手法を開発した他，差分処理を用いた動的なデータ集合に対する対話的外れ値分析フレームワークDIOの開発と，不均質高次元データの逆ランク検索の効率化手法の開発を行った．小粒度処理に関しては，複数のリレーションストリームを対象としたキーワード検索において，キーワード数やリレーション数が増加しても性能劣化が生じにくい新たな手法の開発を行った他，オンラインニュースの地域局所的な注目度の分析の手法を開発した．
また，大粒度・小粒度分析処理の融合に関しては，上記JsFlowにおいて，計算資源制約や分析粒度要求等を加味したデータ処理記述の解析により，小粒度処理と大粒度処理を適切に切り分け，並列差分処理や中間データの維持管理をも考慮した実行プランを生成するための基本方式の開発を行い，実験評価によりその有効性を確認した．
|
| Research Progress Status |
28年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
28年度が最終年度であるため、記入しない。
|
| Causes of Carryover |
28年度が最終年度であるため、記入しない。
|
| Expenditure Plan for Carryover Budget |
28年度が最終年度であるため、記入しない。
|
-
-
-
[Journal Article] Accelerating Set Similarity Joins Using GPUs2016
Author(s)
Mateus S. H. Cruz,Yusuke Kozawa, Toshiyuki Amagasa, Hiroyuki Kitagawa
-
Journal Title
Transactions on Large-Scale Data and Knowledge-Centered Systems XXVIII: Special Issue on Database and Expert Systems Applications (TLDKS)
Volume: －
Pages: 1-22
DOI
Peer Reviewed / Open Access / Acknowledgement Compliant
-
-
-
-
-
-
-
[Presentation] Grid-Index Algorithm for Reverse Rank Queries2017
Author(s)
Yuyang Dong, Hanxiong Chen, Jeffrey Xu Yu, Kazutaka Furuse, Hiroyuki Kitagawa
Organizer
20th International Conference on Extending Database Technology (EDBT 2017)
Place of Presentation
Congress Center of the San Servolo Island(イタリア・ベニス)
Year and Date
2017-03-21 – 2017-03-24
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
