2021 Fiscal Year Annual Research Report
Acceleration of large-scale deep learning by optimizing parallel I/O
| Project/Area Number |
20K19811
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
佐藤 賢斗 国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (50739696)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Keywords | 高性能計算 / 深層学習 / 富岳 / Arm / チューニング |
|---|
| Outline of Annual Research Achievements |
DNNの学習に利用できる計算量とデータセットの増加に伴いスーパーコンピュータによる高速な分散学習が求められている。しかし、富岳のようなソフトウェアエコシステムがまだ確立されていないシステムでは、ソフトウェアの移植およびチューニングする必要があり膨大な開発労力が必要です。そこで我々は、3D-CNNモデル学習におけるソフトウェアチューニングを例として深層学習フレームワークのチューニングをおこなった。具体的には、(1) 深層学習の計算カーネルをaarch64用のJITトランスレータでチューニング。(2)大規模実行においてCPUコアを有効に活用するためのデータ並列とモデル並列によるハイブリッド学習のサポート。(3)データ圧縮によるデータステージングとキャッシュによるデータローダによるI/Oチューニング。 (4) 最後に学習モデル固有のチューニングによる収束性の向上をおこなった。CosmoFlow 3D-CNNモデルに対してこれらの提案手法を適用し、その結果、この深層学習モデルを8時間16分で637個、1分あたりでは約1.29個のモデル学習を完了することができた、これによりMLPerfHPC v1.0のCosmoflow（弱スケール）部門において、他システムの性能と比較し約1.77倍の処理速度を達成し、機械学習を利用した大規模な科学技術計算の分野において世界最高レベルの性能を有していることが示した。「MLPerf HPC」は、機械学習アプリケーションを実行するシステムの性能リストを作成することを目的に、膨大な時間を要する大規模機械学習計算をスーパーコンピュータで行った際のシステム性能を評価するため、機械学習ベンチマークであり、また世界各国のスーパーコンピュータで利用されており、新たな業界標準として期待されている。
|
Research Products
(8 results)
