• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Annual Research Report

GPUスパコンによる気液二相流と物体の相互作用の超大規模シミュレーション

Research Project

Project/Area Number 23360046
Research InstitutionTokyo Institute of Technology

Principal Investigator

青木 尊之  東京工業大学, 学術国際情報センター, 教授 (00184036)

Co-Investigator(Kenkyū-buntansha) 小林 宏充  慶應義塾大学, 法学部, 教授 (60317336)
今井 陽介  東北大学, 工学(系)研究科(研究院), 准教授 (60431524)
Project Period (FY) 2011-04-01 – 2014-03-31
Keywords気液二相流 / GPU / Thinc WLIC / VOF / AMR / 八分木データ構造 / デフラグ
Research Abstract

大規模気液二相流計算を行うためには、(1) 非ゼロ要素の値が気液界面で大きく変化するために収束性の悪いPoisson方程式の疎行列解法、(2) 精度の高い界面追跡手法の導入である。これらを複数GPUを用いた高速計算を実行するために、(1) BiCGSTAB法に幾何学的マルチグリッド法を前処理として加えた疎行列ソルバーの適用、(2) 界面移流に対して逆拡散を含んだ保存形のThinc WLIC を導入した。表面張力は気液界面を含む近傍領域に体積力として CSFモデルにより付加し、表面張力が強く影響する問題での数値安定化手法を適用した。
気液界面を効率的に捕獲するために、AMR法を用いて界面近傍を高解像度で計算する。八分木データ構造に基づき再帰的に格子を分割し、界面からの距離(レベルセット関数)に応じて細分化レベルを制御し、効率的に高解像度格子を配置することができた。VOF値とレベルセット値のカップリング方法の問題点が浮き彫りになった。気液界面の移動に伴う細分化レベルを変化に対してGPU上のメモリ・プールを確保する実装を行った。リーフの細分化と合体を繰返すことにより、メモリ・プール中に不使用領域が増え、メモリ使用量の増加とともに連続アドレスでのメモリアクセスがし難くなり、実行性能が低下する。そこで、適当な頻度でGPUメモリをCPUにコピーし、CPUでデフラグ処理を行い再整列されたメモリ内容をGPUで行う処理を加え、大幅な性能向上を達成した。
平成25年9月にスパコンTSUBAME2.0がGPUを交換したことにより性能が向上し、2048×1024×1024の規模の気液二相流と構造物の連成計算を実行することができた。得られた大規模データに対して高品位なレイトレーシング法によりリアルな可視化を行うためにPOV-Ray および NVIDIA iray を用いた可視化を行った。

Current Status of Research Progress
Reason

25年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

25年度が最終年度であるため、記入しない。

  • Research Products

    (53 results)

All 2014 2013 Other

All Journal Article (4 results) (of which Peer Reviewed: 3 results) Presentation (49 results) (of which Invited: 13 results)

  • [Journal Article] GPU スパコンにおける1 億個のスカラー粒子計算の強スケーリングと動的負荷分散2013

    • Author(s)
      都築怜理, 青木尊之, 下川辺隆史
    • Journal Title

      情報処理学会論文誌コンピューティングシステム

      Volume: Vol.9 Pages: P.82-93

    • Peer Reviewed
  • [Journal Article] Unexpected selection of growing dendrites by very-large-scale2013

    • Author(s)
      T. Takaki, T. Shimokawabe, M. Ohno, A. Yamanaka, T. Aoki
    • Journal Title

      Journal of Crystal Growth

      Volume: Vol.382 Pages: P21-25

    • Peer Reviewed
  • [Journal Article] Global magnetohydrodynamic simulations on multiple GPUs2013

    • Author(s)
      Un-Hong Wong, Hon-Cheng Wong, Yonghui Ma
    • Journal Title

      Computer Physics Communications 185

      Volume: Vol.185 Pages: P144-152

    • DOI

      10.1016/j.cpc.2013.08.027

    • Peer Reviewed
  • [Journal Article] CFDが描く流体潤滑の新しい世界2013

    • Author(s)
      丹愛彦、青木尊之
    • Journal Title

      日本トライボロジー学会誌「トライボロジスト」

      Volume: 0 Pages: P.361-366

    • DOI

      ISSN 0915-1168

  • [Presentation] Large-scale GPU Applications for Scientific Computing2014

    • Author(s)
      Takayuki Aoki
    • Organizer
      SIAM Parallel Processing 2014
    • Place of Presentation
      Portland, US
    • Year and Date
      2014-02-20
  • [Presentation] GPU Computing and HPC Applications on a GPU-rich Supercomputer2013

    • Author(s)
      Takayuki Aoki
    • Organizer
      Annual Meeting of TWSIAM
    • Place of Presentation
      Providence University (Taichung), Taiwan
    • Year and Date
      2013-06-02
  • [Presentation] 地震学における大規模・高性能GPU計算

    • Author(s)
      岡元太郎・竹中博士・青木尊之
    • Organizer
      日本地球惑星科学連合2013年大会
    • Place of Presentation
      千葉県幕張市
  • [Presentation] 3次元グリーンテンソル波形によるインバージョンで推定した2011年東北地方太平洋沖地震の破壊過程

    • Author(s)
      岡元太郎・竹中博士・原辰彦・中村武史・青木尊之
    • Organizer
      日本地球惑星科学連合2013年大会
    • Place of Presentation
      千葉県幕張市
  • [Presentation] GPU スパコンにおける大規模粒子法計算の動的負荷分散

    • Author(s)
      都築怜理、青木尊之、下川辺隆史、小野寺直幸
    • Organizer
      第18回計算工学講演会
    • Place of Presentation
      東京
  • [Presentation] GPU による1 億個の粒子を用いた大規模個別要素法シミュレーション

    • Author(s)
      都築怜理、青木尊之、下川辺隆史、小野寺直幸
    • Organizer
      第18回計算工学講演会
    • Place of Presentation
      東京
  • [Presentation] Efficient CFD/MHD Simulation for Distributed Multi-GPU System using GPU Direct 2.0

    • Author(s)
      黄遠雄、青木尊之、黄漢青
    • Organizer
      日本計算工学会
    • Place of Presentation
      東京大学生産技術研究所
  • [Presentation] 最新マルチコアにおける圧縮性流体計算~GPUとMICの比較~

    • Author(s)
      藤山崇紘,青木尊之,小野寺直幸,下川辺隆史
    • Organizer
      日本計算工学会
    • Place of Presentation
      東京大学生産技術研究所
  • [Presentation] A Turbulent Air Flow Simulation in Metropolitan Tokyo for 10km x 10km area with 1m resolution and Several Peta-scale Real-world Simulations on TSUBAME 2.0

    • Author(s)
      Takayuki Aoki
    • Organizer
      Workshop: Big Data and CFD Simulation on TSUBAME 2.0
    • Place of Presentation
      A*STAR Computational Resource Centre (A*CRC), Singapore
    • Invited
  • [Presentation] TSUBAME2.0の全ノードを用いた東京都心部 10km×10km の 1m 解像度による気流シミュレーション

    • Author(s)
      小野寺直幸
    • Organizer
      GTC (GPU Technology Conference) Japan 2013
    • Place of Presentation
      東京・六本木(ミッドタウン)
    • Invited
  • [Presentation] Toward Real-time Ray Tracing for CFD Visualization via NVIDIA Iray

    • Author(s)
      Un-Hong Wong, Hon-Cheng Wong, Meng Zhu, Aoki Takayuki
    • Organizer
      GTC (GPU Technology Conference) Japan 2013
    • Place of Presentation
      東京・六本木(ミッドタウン)
  • [Presentation] Efficient TVD MHD Simulations on a Distributed Multi-GPU System Using GPU Direct 2.0

    • Author(s)
      Un-Hong Wong, Takayuki Aoki1, Hon-Cheng Wong
    • Organizer
      The 11th International School / Symposium for Space Simulations
    • Place of Presentation
      National Central University, Taiwan, R.O.C.
  • [Presentation] スパコンTSUBAMEによるペタスケール格子系アプリケーション

    • Author(s)
      青木尊之
    • Organizer
      GPUコンピューティングチュートリアル講演会
    • Place of Presentation
      首都大学東京南大沢キャンパス
    • Invited
  • [Presentation] GPU を用いた固体粒子群を含む固気液三相流の大規模シミュレーション

    • Author(s)
      小野寺直幸、青木尊之
    • Organizer
      日本混相流学会・混相流シンポジウム2013
    • Place of Presentation
      信州大学 長野(工学)キャンパス
  • [Presentation] Large-scale CFD Applications on GPU Supercomputer TSUBAME

    • Author(s)
      Takayuki Aoki
    • Organizer
      第二十回全国計算流体力学学術検討会 (CFD21)
    • Place of Presentation
      中興大学恵孫林場(台中,台湾)
    • Invited
  • [Presentation] GPUを用いた固体粒子群を含む固気液三相流の大規模シミュレーション

    • Author(s)
      小野寺直幸、青木尊之
    • Organizer
      日本混相流学会混相流シンポジウム
    • Place of Presentation
      信州大学(長野)
  • [Presentation] TSUBAME 2.0の全ノードを用いた格子ボルツマン法による東京都心部10km四方の大規模LES気流シミュレーション

    • Author(s)
      小野寺直幸
    • Organizer
      第5回アクセラレーション技術発表討論会
    • Place of Presentation
      会津大学
    • Invited
  • [Presentation] GPU を用いた格子ボルツマン法による大規模流体・構造連成解析

    • Author(s)
      小野寺直幸、青木尊之、下川辺隆史
    • Organizer
      日本流体力学会年会2013
    • Place of Presentation
      東京農工大学
  • [Presentation] A Large-scale Particle Simulations based on Dynamic Load Balance on a GPU-rich Supercomputer

    • Author(s)
      S. Tsuzuki, T. Aoki and T. Shimokawabe
    • Organizer
      Third Conference on Particle-Based Methods PARTICLES 2013
    • Place of Presentation
      Stuttgart, Germany
  • [Presentation] 近接相互作用に基づく大規模粒子計算(個別要素法)における効率的な動的負荷分散手法の提案とGPU スパコンでの実装

    • Author(s)
      都築怜理, 青木尊之, 下川辺隆史
    • Organizer
      日本応用数理学会2013年度年会
    • Place of Presentation
      福岡
  • [Presentation] 3次元グリーンテンソル波形による2011年東北地方太平洋沖地震の破壊過程(2)

    • Author(s)
      岡元太郎・竹中博士・原辰彦・中村武史・青木尊之
    • Organizer
      日本地震学会2013年秋季大会
    • Place of Presentation
      神奈川県横浜市
  • [Presentation] GPU で演算加速された1億個の粒子による大規模粉体シミュレーション

    • Author(s)
      都築怜理、青木尊之
    • Organizer
      粉体工学会2013 年度秋期研究発表会
    • Place of Presentation
      大阪
  • [Presentation] TSUBAME 2.0の4,032台のGPUを用いた格子ボルツマン法による大規模LES気流シミュレーション

    • Author(s)
      小野寺直幸
    • Organizer
      学術情報メディアセンターセミナー
    • Place of Presentation
      京都
    • Invited
  • [Presentation] Space-filling Curve に基づいた AMR (Adaptive Mesh Refinement) 法による圧縮性流体計算のアルゴリズムとGPU実装

    • Author(s)
      青木尊之
    • Organizer
      学術情報メディアセンターセミナー
    • Place of Presentation
      京都
    • Invited
  • [Presentation] 多結晶粒成長の大規模マルチフェーズフィールドシミュレーション ~GPU スパコンSUBAME 2.0 への実装~

    • Author(s)
      岡本成史, 山中晃徳, 下川辺隆史, 青木尊之
    • Organizer
      日本機械学会・第26回計算力学講演会
    • Place of Presentation
      佐賀
  • [Presentation] GPUを用いた格子ボルツマン法による流体構造連成のラージエディ・シミュレーション

    • Author(s)
      小野寺直幸, 青木尊之, 下川辺隆史
    • Organizer
      日本機械学会・第26回計算力学講演会
    • Place of Presentation
      佐賀
  • [Presentation] Large-scale 3D MHD simulation on GPU-rich supercomputer TSUBAME

    • Author(s)
      黄遠雄, 青木尊之, 黄漢青
    • Organizer
      日本機械学会・第26回計算力学講演会
    • Place of Presentation
      佐賀
  • [Presentation] 気象計算コードのためのGPUコンピューティング・フレームワーク

    • Author(s)
      下川辺隆史, 青木尊之, 小野寺直幸
    • Organizer
      日本機械学会・第26回計算力学講演会
    • Place of Presentation
      佐賀
  • [Presentation] GPU スパコンを用いた大規模 DEM シミュレーションによる紛体の撹拌解析

    • Author(s)
      都築怜理, 青木尊之
    • Organizer
      日本機械学会・第26回計算力学講演会
    • Place of Presentation
      佐賀
  • [Presentation] GPUスパコンTSUBAMEによるペタスケール物理シミュレーション

    • Author(s)
      青木尊之
    • Organizer
      日本計算工学会・S&V (Simulation & Visualization) 研究会
    • Place of Presentation
      東京(中央大学)
    • Invited
  • [Presentation] 複数 GPU (Graphics Processing Unit) による大規模格子計算(FDTD)の高速化

    • Author(s)
      青木尊之
    • Organizer
      電子情報通信学会・マイクロウェーブワークショップ
    • Place of Presentation
      パシフィコ横浜
    • Invited
  • [Presentation] A High-productivity Framework for Multi-GPU Computing of Weather Prediction Code

    • Author(s)
      Takashi Shimokawabe
    • Organizer
      The 4th AICS International Symposium
    • Place of Presentation
      理化学研究所AICS(神戸)
  • [Presentation] Dynamic load balance for a granular simulation using billion particles on GPU supercomputer

    • Author(s)
      Satori Tsuzuki, Takayuki Aoki
    • Organizer
      The 4th AICS International Symposium
    • Place of Presentation
      理化学研究所AICS(神戸)
  • [Presentation] TSUBAMEのGPUを用いた格子ボルツマン法による流体構造連成のラージエディ・シミュレーション

    • Author(s)
      小野寺直幸
    • Organizer
      日本学術会議 第3回計算力学シンポジウム
    • Place of Presentation
      日本学術会議講堂
    • Invited
  • [Presentation] ものづくり系アプリの将来 -エクサスケール時代のスパコンを見通して-

    • Author(s)
      青木尊之
    • Organizer
      第14回IPAB(並列生物情報処理イニシアティブ)シンポジウム
    • Place of Presentation
      東京
    • Invited
  • [Presentation] Large-scale Particle Simulations using Dynamic Load Balance on TSUBAME 2.0 Supercomputer

    • Author(s)
      S. Tsuzuki and T. Aoki
    • Organizer
      Proceedings of the 5th Asia Pacific Congress on Computational Mechanics and and 4th International Symposium on Computational
    • Place of Presentation
      Singapore
  • [Presentation] Large-Eddy Simulation of Fluid-Structure Interaction using Lattice Boltzmann Method on Multi-GPU Clusters

    • Author(s)
      Naoyuki Onodera, Takayuki Aoki, Takashi Shimokawabe, Tatsuji Miyashita, and Hiromichi Kobayashi
    • Organizer
      Proceedings of the 5th Asia Pacific Congress on Computational Mechanics and and 4th International Symposium on Computational
    • Place of Presentation
      Singapore
  • [Presentation] A High-productivity Framework for Weather Prediction Code on Multi-GPU Computing

    • Author(s)
      Takashi Shimokawabe, Takayuki Aoki, and Naoyuki Onodera
    • Organizer
      Proceedings of the 5th Asia Pacific Congress on Computational Mechanics and and 4th International Symposium on Computational
    • Place of Presentation
      Singapore
  • [Presentation] Scalability model for multi-GPU computation of stencil applications using regular structured meshes with explicit time integration

    • Author(s)
      Takashi Shimokawabe, Takayuki Aoki and Naoyuki Onodera
    • Organizer
      第189回ARC・第132回HPC合同研究発表会(HOKKE-19)
    • Place of Presentation
      北海道大学
  • [Presentation] TSUBAMEのGPUを用いた格子ボルツマン法による東京都心部の大規模気流シミュレーション

    • Author(s)
      小野寺 直幸、青木尊之、下川辺隆史、宮下達治
    • Organizer
      第27回数値流体力学シンポジウム
    • Place of Presentation
      名古屋大学
  • [Presentation] Efficient large scaleMHD simulations: 3D OT vortexand Solar Wind - Earthinteraction using distributedmulti-GPU system

    • Author(s)
      黄遠雄、青木尊之、黄漢青(MUST)
    • Organizer
      第27回数値流体力学シンポジウム
    • Place of Presentation
      名古屋大学
  • [Presentation] 複数GPUによる格子に基づいたシミュレーションのためのマルチGPU コンピューティング・フレームワーク

    • Author(s)
      下川辺隆史、青木尊之、小野寺直幸
    • Organizer
      HPCS2014
    • Place of Presentation
      一橋大学
  • [Presentation] A High-productivity Framework for Multi-GPU computation of Mesh-based applications

    • Author(s)
      Takashi Shimokawabe, Takayuki Aoki and Naoyuki Onodera
    • Organizer
      HiStencil
    • Place of Presentation
      Vienna, Austria
  • [Presentation] GPUスパコンTSUBAME による大規模 CAE アプリと産業利用

    • Author(s)
      青木尊之
    • Organizer
      第24回関東CAE懇話会
    • Place of Presentation
      早稲田大学(東京)
    • Invited
  • [Presentation] Peta-Scale Flow Simulations using GPUs

    • Author(s)
      Takayuki Aoki
    • Organizer
      SIAM Parallel Processing 2014
    • Place of Presentation
      Waseda U.
    • Invited
  • [Presentation] Large-scale Global MHD Simulation for Solar Wind Magnetosphere Interaction on TSUBAME 2.5

    • Author(s)
      Un-Hong Wong, Takayuki Aoki, Hon-Cheng Wong
    • Organizer
      GTC 2014(GPU Technology Conference) Japan 2014
    • Place of Presentation
      San Jose, US
  • [Presentation] ASUCA on GPU: Uncompromising Hybrid Port for Physical Core of Japanese Weather Model

    • Author(s)
      Michel Müller
    • Organizer
      GTC 2014(GPU Technology Conference) Japan 2014
    • Place of Presentation
      San Jose, US
  • [Presentation] Weather Prediction Code Witten by a High-productivity Framework for Multi-GPU Computing

    • Author(s)
      Takashi Shimokawabe
    • Organizer
      GTC 2014(GPU Technology Conference) Japan 2014
    • Place of Presentation
      San Jose, US
  • [Presentation] AMR-Based on Space-Filling Curve for Stencil Applications

    • Author(s)
      Takayuki Aoki
    • Organizer
      GTC 2014(GPU Technology Conference) Japan 2014
    • Place of Presentation
      San Jose, US

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi