並列I/O最適化による大規模深層学習の高速化に関する研究

2021 年度 研究成果報告書

• 研究課題/領域番号: 20K19811
• 研究種目: 若手研究
• 配分区分: 基金
• 審査区分: 小区分60090:高性能計算関連
• 研究機関: 国立研究開発法人理化学研究所
• 研究代表者: 佐藤 賢斗 国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (50739696)
• 研究期間 (年度): 2020-04-01 – 2022-03-31
• キーワード: 高性能計算 / 大規模計算 / 深層学習 / 機械学習 / I/O / ストレージ

研究成果の概要

大規模分散深層学習などの大量の学習データ読み込むアプリケーションでは、システムのI/Oの性能が不十分であり、このような深層学習などの新しいアプリケーションに対応するため、I/O性能の重要性が高まっている。このためI/Oの最適化のためにスーパーコンピューター富岳におけるI/O性能の調査、データ圧縮によるI/Oの高速化をおこなった。特に、本研究での知見を活用し深層学習フレームワーク向けソフトウェア開発やMLPerf HPCのベンチマーク評価の一部に貢献した。その結果、「MLPerf HPC」の一つである「CosmoFlow」において「富岳」の約半分の規模を用いた性能評価で世界最高速度を達成した。

自由記述の分野

高性能計算

研究成果の学術的意義や社会的意義

近年、深層学習に代表される人工知能の研究が盛んに行われており、産業界でも人工知能は様々な形で実用化レベルまで到達している。この深層学習における計算処理には、学習モデルを構築する「学習フェーズ」と、構築された学習モデルを使って、実際に画像認識などの予測・認識を行う「推論フェーズ」に分かれている。深層学習では、より正確な予測・認識を可能にする学習モデルを高速に構築することが重要な要素となっている。本研究は、スーパーコンピュータなどの大規模システムにおける学習フェーズの高速化を達成する研究課題であり、学術的・社会的意義は高いと考る。