刹那の遊休活用による安定的な共創型超並列分散計算基盤の創出

• 研究課題/領域番号: 16H02801
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: ソフトウェア
• 研究機関: 大阪大学
• 研究代表者: 伊野 文彦 大阪大学, 情報科学研究科, 教授 (90346172)
• 研究期間 (年度): 2016-04-01 – 2020-03-31
• 研究課題ステータス: 完了 (2019年度)
• 配分額: 17,030千円 (直接経費: 13,100千円、間接経費: 3,930千円); 2019年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円); 2018年度: 5,720千円 (直接経費: 4,400千円、間接経費: 1,320千円); 2017年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円); 2016年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
• キーワード: GPU / マルチタスク / 並列分散処理 / 高速化

研究成果の概要

本研究では，家庭およびオフィスに存在するグラフィクスハードウェアＧＰＵを対象として，そのミリ秒単位の有休時間を遠隔から活用するためのソフトウェア技術を開発した．開発した技術は，高速な画面描画と並行して，計算律速の科学技術計算を共有ＧＰＵ上で加速できる．さらに，複数ＧＰＵ環境を対象として，簡便なプログラム記述から並列プログラムを自動生成するためのプログラム変換器を開発し，分散深層学習のような，計算ノード間の通信を伴う応用を，家庭やオフィスに存在するＧＰＵ上で高速化できることを明らかにした．

研究成果の学術的意義や社会的意義

分散深層学習のような，計算ノード間の通信を伴う応用は，これまで高性能計算センターに設置された，専有のGPUクラスタ上で高速化されてきた．本研究の成果は，家庭やオフィスに設置された計算機群にGPUを追加するだけで，日常業務を処理しながら，ノード間通信を伴う分散深層学習を高速化できることを明らかにしていて，導入コストの低い共創型高性能計算システムの礎となることが期待でき，社会的にも学術的にも意義深い研究成果である．

研究成果

• [国際共同研究] Barcelona Supercomputing Center(スペイン)
• [国際共同研究] The University of Tennessee(米国)
• [国際共同研究] KTH Royal Institute of Technology(スウェーデン)
• [国際共同研究] University of Nicosia(キプロス)
• [国際共同研究] University of Strathclyde(英国)
• [国際共同研究] バルセロナ・スーパーコンピューティング・センター(スペイン)
• [国際共同研究] スウェーデン王立工科大学(スウェーデン)
• [国際共同研究] テネシー大学(米国)
• [雑誌論文] Reducing the Amount of Out-of-Core Data Access for GPU-Accelerated Randomized SVD (2020)
  • 著者名/発表者名: Yuechao Lu, Ichitaro Yamazaki, Fumihiko Ino, Yasuyuki Matsushita, Stanimire Tomov, and Jack Dongarra
  • 雑誌名: Concurrency and Computation: Practice and Experience 巻: － 号: 19
  • DOI: 10.1002/cpe.5754
  • 査読あり / 国際共著
• [雑誌論文] Block Randomized Singular Value Decomposition on GPUs (2020)
  • 著者名/発表者名: Yuechao Lu, Yasuyuki Matsushita, and Fumihiko Ino
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E103-D 号: 9 ページ: 1949-1959
  • DOI: 10.1587/transinf.2019edp7265
  • NAID: 130007894621
  • 査読あり / オープンアクセス
• [雑誌論文] Memory Efficient Load Balancing for Distributed Large-Scale Volume Rendering Using a Two-Layered Group Structure (2019)
  • 著者名/発表者名: Marcus Wallden, Stefano Markidis, Masao Okita, and Fumihiko Ino
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E102.D 号: 12 ページ: 2306-2316
  • DOI: 10.1587/transinf.2019PAP0003
  • NAID: 130007754461
  • ISSN: 0916-8532, 1745-1361
  • 年月日: 2019-12-01
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Accelerating the Held-Karp Algorithm for the Symmetric Traveling Salesman Problem (2019)
  • 著者名/発表者名: Kazuro Kimura, Shinya Higa, Masao Okita, and Fumihiko Ino
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E102.D 号: 12 ページ: 2329-2340
  • DOI: 10.1587/transinf.2019PAP0008
  • NAID: 130007754460
  • ISSN: 0916-8532, 1745-1361
  • 年月日: 2019-12-01
  • 査読あり / オープンアクセス
• [雑誌論文] PACC: A Directive-based Programming Framework for Out-of-Core Stencil Computation on Accelerators (2019)
  • 著者名/発表者名: Nobuhiro Miki, Fumihiko Ino, and Kenichi Hagihara
  • 雑誌名: International Journal of High Performance Computing and Networking 巻: 13 号: 1 ページ: 19-34
  • DOI: 10.1504/ijhpcn.2019.097046
  • 査読あり
• [雑誌論文] GPU-based Branch-and-Bound Method to Solve Large 0-1 Knapsack Problems with Data-centric Strategies (2019)
  • 著者名/発表者名: Jingcheng Shen, Kentaro Shigeoka, Fumihiko Ino, and Kenichi Hagihara
  • 雑誌名: Concurrency and Computation: Practice and Experience 巻: 31 号: 4 ページ: 1-15
  • DOI: 10.1002/cpe.4954
  • 査読あり
• [雑誌論文] PACC: A Directive-based Programming Framework for Out-of-Core Stencil Computation on Accelerators (2018)
  • 著者名/発表者名: Nobuhiro Miki, Fumihiko Ino, and Kenichi Hagihara
  • 雑誌名: International Journal of High Performance Computing and Networking 巻: 印刷中
• [雑誌論文] Parallelizing Exact and Approximate String Matching via Inclusive Scan on a GPU (2017)
  • 著者名/発表者名: Yasuaki Mitani, Fumihiko Ino, and Kenichi Hagihara
  • 雑誌名: IEEE Transactions on Parallel and Distributed Systems 巻: 28 ページ: 1989-2002
  • 査読あり
• [雑誌論文] Cache-Aware, In-Place Rotation Method for Texture-Based Volume Rendering (2017)
  • 著者名/発表者名: Yuji Misaki, Fumihiko Ino, and Kenichi Hagihara
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E100.D 号: 3 ページ: 452-461
  • DOI: 10.1587/transinf.2016EDP7178
  • NAID: 130005397902
  • ISSN: 0916-8532, 1745-1361
  • 査読あり
• [雑誌論文] Cache-Aware GPU Optimization for Out-of-Core Cone Beam CT Reconstruction of High-Resolution Volumes (2016)
  • 著者名/発表者名: Yuechao Lu, Fumihiko Ino, and Kenichi Hagihara
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E99.D 号: 12 ページ: 3060-3071
  • DOI: 10.1587/transinf.2016EDP7174
  • NAID: 130005170965
  • ISSN: 0916-8532, 1745-1361
  • 査読あり / 謝辞記載あり
• [学会発表] Training Strategies for CNN-based Models to Parse Complex Floor Plans (2020)
  • 著者名/発表者名: Ruiyun Zhu, Jingcheng Shen, Xiangtian Deng, Marcus Wallden, and Fumihiko Ino
  • 学会等名: 9th International Conference on Software and Computer Applications (ICSCA 2020)
  • 国際学会
• [学会発表] Accelerating Human Genome Phenotypic Analysis with Bitwise Search and Batched Computation (2020)
  • 著者名/発表者名: Yuichiro Miyamoto, Masao Okita, and Fumihiko Ino
  • 学会等名: 28th Euromicro International Conference on Parallel, Distributed and Network-based Processing (PDP 2020)
  • 国際学会
• [学会発表] Accelerating Large Seismic Simulation Code with PACC Framework (2020)
  • 著者名/発表者名: Jingcheng Shen, Fumihiko Ino, Albert Farres, and Mauricio Hanzich
  • 学会等名: 11th GPU Technology Conference (GTC 2020)
  • 国際学会
• [学会発表] Applying PACC directives to accelerate out-of-core seismic wave simulation on a GPU (2019)
  • 著者名/発表者名: Jingcheng Shen, Nobuhiro Miki, Fumihiko Ino, Kenichi Hagihara, Albert Farres, and Mauricio Hanzich
  • 学会等名: PhD Forum in the 33rd IEEE International Symposium on Parallel and Distributed Processing (IPDPS 2019)
  • 国際学会
• [学会発表] Accelerating Distributed Deep Learning on a GPU-Cycle Sharing System (2019)
  • 著者名/発表者名: Fumihiko Ino
  • 学会等名: Annual Meeting of the Asia Pacific Society for Computing and Information Technology (APSCIT 2019)
  • 国際学会 / 招待講演
• [学会発表] Towards Reducing Memory Consumption for Accelerating Genotype Imputation on the GPU (2019)
  • 著者名/発表者名: Kazuya Tsubaki, Masao Okita, and Fumihiko Ino
  • 学会等名: Annual Meeting of the Asia Pacific Society for Computing and Information Technology (APSCIT 2019)
  • 国際学会
• [学会発表] GPU-Accelerated Randomized Newton Method for Fast Training Malicious Web Site Classifier (2019)
  • 著者名/発表者名: Yuechao Lu, Boqi Gao, and Fumihiko Ino
  • 学会等名: 18th International Conference on Security and Management (SAM 2019)
  • 国際学会
• [学会発表] Transparent In-memory Cache Management in Apache Spark based on Post-Mortem Analysis (2019)
  • 著者名/発表者名: Atsuya Nasu, Kenji Yoneo, Masao Okita, and Fumihiko Ino
  • 学会等名: 7th IEEE International Conference on Big Data (Big Data 2019)
  • 国際学会
• [学会発表] ヒトゲノム表現型解析におけるビット並列探索およびプロセス並列処理による高速化 (2019)
  • 著者名/発表者名: 宮本悠一朗, 置田真生, 伊野文彦
  • 学会等名: 電子情報通信学会コンピュータシステム研究会
• [学会発表] Apache Sparkにおけるデータ依存グラフ解析に基づくメモリ内キャッシュ置換手法 (2019)
  • 著者名/発表者名: 那須敦也, 置田真生, 伊野文彦
  • 学会等名: 情報処理学会研オペレーティングシステム研究会
• [学会発表] 省メモリ推論のための深層ニューラルネットワークの圧縮手法 (2019)
  • 著者名/発表者名: 岩﨑博生, 伊野文彦
  • 学会等名: 人工知能学会第13回汎用人工知能研究会
• [学会発表] GPUプログラムにおける静的参照関係を表すハイパーグラフの分割を用いた参照効率のよいデータ配置 (2019)
  • 著者名/発表者名: 比嘉慎哉, 置田真生, 萩原兼一, 伊野文彦
  • 学会等名: 情報処理学会ハイパフォーマンスコンピューティング研究会
• [学会発表] 対称巡回セールスマン問題に対するHeld-Karpアルゴリズムの高速化 (2019)
  • 著者名/発表者名: 木村和郎, 比嘉慎哉, 置田真生, 伊野文彦
  • 学会等名: 電子情報通信学会コンピュータシステム研究会
• [学会発表] A Method for Estimating Task Granularity for Automating GPU Cycle Sharing (2018)
  • 著者名/発表者名: Keishi Tsukada and Fumihiko Ino
  • 学会等名: 7th International Conference on Network,Communication and Computing (ICNCC 2018)
  • 国際学会
• [学会発表] PACC: A Directive-based Approach for Accelerating Out-of-Core Stencil Applications on the GPU (2018)
  • 著者名/発表者名: Fumihiko Ino
  • 学会等名: 3rd International Workshop on GPU Computing and AI (GCA 2018)
  • 国際学会 / 招待講演
• [学会発表] GPU上で大規模ナップザック問題を解くためのアウトオブコア計算手法 (2018)
  • 著者名/発表者名: 沈靖程, 重岡謙太郎, 伊野文彦, 萩原兼一
  • 学会等名: 第14回情報科学ワークショップ
• [学会発表] 並列プログラム自動生成における間接参照の削減によるベクトル計算機向けメモリ参照効率化 (2018)
  • 著者名/発表者名: 石田祐二郎, 置田真生, 伊野文彦, 萩原兼一
  • 学会等名: 第14回情報科学ワークショップ
• [学会発表] 並列プログラム自動生成におけるベクトル計算機向けメモリ参照効率化のための間接参照の削減 (2018)
  • 著者名/発表者名: 石田祐二郎, 置田真生, 伊野文彦, 萩原兼一
  • 学会等名: 電子情報通信学会コンピュータシステム研究会
• [学会発表] An Out-of-core CPU-GPU Cooperative B&B Solver for the Large Knapsack Problem (2018)
  • 著者名/発表者名: Jingcheng Shen, Kentaro Shigeoka Fumihiko Ino, and Kenichi Hagihara
  • 学会等名: 2nd Cross-disciplinary Workshop on Computing Systems,Infrastructures, and Programming (xSIG 2018)
• [学会発表] GPUコンピューティング技術に関わる産学共創の紹介 (2018)
  • 著者名/発表者名: 伊野文彦
  • 学会等名: バイオグリッド研究会2018
  • 招待講演
• [学会発表] An Automated Method for Generating Training Sets for Deep Learning Based Image Registration (2018)
  • 著者名/発表者名: Masato Ito and Fumihiko Ino
  • 学会等名: 11th International Joint Conference on Biomedical Engineering Systems and Technologies (BIOSTEC 2018)
  • 国際学会
• [学会発表] Transparent Avoidance of Redundant Data Transfer on GPU-enabled Apache Spark (2018)
  • 著者名/発表者名: Ryo Asai, Masao Okita, Fumihiko Ino, and Kenichi Hagihara
  • 学会等名: 11th Workshop on General Purpose Processing Using GPU (GPGPU 2018)
  • 国際学会
• [学会発表] GPU サイクル共有を自動化するためのタスク粒度推定手法の検討 (2017)
  • 著者名/発表者名: 塚田敬司, 伊野文彦, 萩原兼一
  • 学会等名: cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming (xSIG 2017)
  • 発表場所: 虎ノ門ヒルズフォーラム（東京都・港区）
  • 年月日: 2017-04-25
• [学会発表] 並列計算の現状と産業応用について (2017)
  • 著者名/発表者名: 伊野文彦
  • 学会等名: 産業・社会向けソリューションを支えるIoTと機械学習シンポジウム
  • 発表場所: 京都リサーチパーク（京都府・京都市）
  • 年月日: 2017-02-10
  • 招待講演
• [学会発表] RLAGPU: High-performance Out-of-Core Randomized Singular Value Decomposition on GPU (2017)
  • 著者名/発表者名: Yuechao Lu, Fumihiko Ino, Yasuyuki Matsushita, and Kenichi Hagihara
  • 学会等名: 8th GPU Technology Conference (GTC 2017)
  • 国際学会
• [学会発表] cuShiftOr: String Matching with Prefix Summing on a GPU (2017)
  • 著者名/発表者名: Fumihiko Ino, Yasuaki Mitani, and Kenichi Hagihara
  • 学会等名: 8th GPU Technology Conference (GTC 2017)
  • 国際学会
• [学会発表] An Out-of-Core Branch and Bound for Solving the 0-1 Knapsack Problem on a GPU (2017)
  • 著者名/発表者名: Jingcheng Shen, Kentaro Shigeoka, Fumihiko Ino, and Kenichi Hagihara
  • 学会等名: 17th International Conference on Algorithms and Architectures for Parallel Processing (ICA3PP 2017)
  • 国際学会
• [学会発表] Accelerating Scoring Computation of Smith-Waterman Algorithm with Mixed Word Length (2017)
  • 著者名/発表者名: Kazuki Yasui and Fumihiko Ino
  • 学会等名: 4th International Workshop on High Performance Computing on Bioinformatics (HPCB 2017)
  • 国際学会
• [学会発表] GPUサイクル共有を自動化するためのタスク粒度推定手法の検討 (2017)
  • 著者名/発表者名: 塚田敬司, 伊野文彦, 萩原兼一
  • 学会等名: 1st Cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming (xSIG 2017)
• [学会発表] 深層学習を用いた画像位置合わせのための教師データの自動生成手法 (2017)
  • 著者名/発表者名: 伊藤眞人, 伊野文彦, 萩原兼一
  • 学会等名: 電子情報通信学会医用画像研究会
• [学会発表] GPUサイクル共有を自動化するためのタスク粒度推定手法 (2017)
  • 著者名/発表者名: 塚田敬司, 伊野文彦, 萩原兼一
  • 学会等名: 情報処理学会ハイパフォーマンスコンピューティング研究会
• [学会発表] GPUサイクル共有システムにおいて深層学習フレームワークCNTKを実行する手法の検討 (2017)
  • 著者名/発表者名: 塚田敬司, 伊野文彦
  • 学会等名: GPU Technology Conference (GTC Japan 2017)
• [学会発表] Towards Automating Multi-dimensional Data Decomposition for Executing a Single-GPU Code on a Multi-GPU System (2016)
  • 著者名/発表者名: Ryotaro Sakai, Fumihiko Ino, and Kenichi Hagihara
  • 学会等名: 4th International Workshop on Computer Systems and Architectures (CSA 2016)
  • 発表場所: Higashihiroshima, Japan
  • 年月日: 2016-11-25
  • 国際学会
• [学会発表] An Extension of OpenACC Directives for Out-of-Core Stencil Computation with Temporal Blocking (2016)
  • 著者名/発表者名: Nobuhiro Miki, Fumihiko Ino, and Kenichi Hagihara
  • 学会等名: 3rd Workshop on Accelerator Programming Using Directives (WACCPD 2016)
  • 発表場所: Salt Lake City, UT, USA
  • 年月日: 2016-11-14
  • 国際学会
• [学会発表] アウトオブコア・ステンシル計算に対する自動テンポラルブロッキングのためのアクセラレータ向けディレクティブPACC (2016)
  • 著者名/発表者名: 三木脩弘, 伊野文彦, 萩原兼一
  • 学会等名: GTC Japan 2016
  • 発表場所: ヒルトン東京お台場（東京都・港区）
  • 年月日: 2016-10-05
• [学会発表] 単一GPUコードをマルチGPU環境で実行するための多次元データ分割手法の検討 (2016)
  • 著者名/発表者名: 酒井亮太郎, 伊野文彦, 萩原兼一
  • 学会等名: 情報処理学会ハイパフォーマンスコンピューティング研究会
  • 発表場所: キッセイ文化ホール（長野県・松本市）
  • 年月日: 2016-08-10
• [学会発表] アウトオブコア・ステンシル計算に対する自動テンポラルブロッキングのためのアクセラレータ向けディレクティブ (2016)
  • 著者名/発表者名: 三木脩弘, 伊野文彦, 萩原兼一
  • 学会等名: 情報処理学会ハイパフォーマンスコンピューティング研究会
  • 発表場所: キッセイ文化ホール（長野県・松本市）
  • 年月日: 2016-08-08
• [学会発表] GPU上の16ビット整数表現によるSmith-Watermanアルゴリズムの高速化の検討 (2016)
  • 著者名/発表者名: 安井一貴, 伊野文彦, 萩原兼一
  • 学会等名: 第16回ハイパフォーマンスコンピューティングと計算科学シンポジウム
  • 発表場所: 東北大学（宮城県・仙台市）
  • 年月日: 2016-06-13
• [備考] 大阪大学 大学院情報科学研究科 並列処理工学講座
  • URL: http://www-ppl.ist.osaka-u.ac.jp/
• [備考] 大阪大学大学院情報科学研究科並列処理工学講座