研究課題
DNNの学習に利用できる計算量とデータセットの増加に伴いスーパーコンピュータによる高速な分散学習が求められている。しかし、富岳のようなソフトウェアエコシステムがまだ確立されていないシステムでは、ソフトウェアの移植およびチューニングする必要があり膨大な開発労力が必要です。そこで我々は、3D-CNNモデル学習におけるソフトウェアチューニングを例として深層学習フレームワークのチューニングをおこなった。具体的には、(1) 深層学習の計算カーネルをaarch64用のJITトランスレータでチューニング。(2)大規模実行においてCPUコアを有効に活用するためのデータ並列とモデル並列によるハイブリッド学習のサポート。(3)データ圧縮によるデータステージングとキャッシュによるデータローダによるI/Oチューニング。 (4) 最後に学習モデル固有のチューニングによる収束性の向上をおこなった。CosmoFlow 3D-CNNモデルに対してこれらの提案手法を適用し、その結果、この深層学習モデルを8時間16分で637個、1分あたりでは約1.29個のモデル学習を完了することができた、これによりMLPerfHPC v1.0のCosmoflow（弱スケール）部門において、他システムの性能と比較し約1.77倍の処理速度を達成し、機械学習を利用した大規模な科学技術計算の分野において世界最高レベルの性能を有していることが示した。「MLPerf HPC」は、機械学習アプリケーションを実行するシステムの性能リストを作成することを目的に、膨大な時間を要する大規模機械学習計算をスーパーコンピュータで行った際のシステム性能を評価するため、機械学習ベンチマークであり、また世界各国のスーパーコンピュータで利用されており、新たな業界標準として期待されている。
すべて 2022 2021 その他
すべて 国際共同研究 (2件) 雑誌論文 (4件) (うち国際共著 3件、 査読あり 4件) 学会発表 (1件) (うち国際学会 1件) 備考 (1件)
IEEE Transactions on Big Data
巻: - ページ: 1～1
10.1109/TBDATA.2022.3158431
IEEE Transactions on Vehicular Technology
10.1109/TVT.2022.3148872
2021 IEEE 28th International Conference on High Performance Computing, Data, and Analytics (HiPC)
巻: - ページ: 152-161
10.1109/HiPC53243.2021.00029
2021 IEEE/ACM Workshop on Machine Learning in High Performance Computing Environments (MLHPC)
巻: - ページ: 33-45
10.1109/MLHPC54614.2021.00009
https://www.hpbd.r-ccs.riken.jp
