| 研究課題/領域番号 |
20K19811
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分60090:高性能計算関連
|
|---|
| 研究機関 | 国立研究開発法人理化学研究所 |
|---|
研究代表者 |
佐藤 賢斗 国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (50739696)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2021年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2020年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
|
|---|
| キーワード | 高性能計算 / 大規模計算 / 深層学習 / 機械学習 / I/O / ストレージ / 富岳 / Arm / チューニング / 並列I/O |
|---|
| 研究開始時の研究の概要 |
近年、深層学習が盛んに行われているが、よりサイズの大きな学習モデルを用いてより複雑な問題を学習するために、大規模計算機の利用が不可欠となっている。しかし、複数のユーザーが利用する大規模共用計算機における大規模深層学習では、共有グローバルファイルシステム(GFS)の性能が計算性能に比べ低いため、いくら学習に使用する計算資源(CPUやGPUの数)を増やしても学習の速度はそれ以上向上しない「大規模深層学習のスケール化の問題」が起こる。本研究計画調書では、大規模共用計算環境において10倍以上の並列I/O性能の向上により大規模深層学習の高速化を実現する。
|
| 研究成果の概要 |
大規模分散深層学習などの大量の学習データ読み込むアプリケーションでは、システムのI/Oの性能が不十分であり、このような深層学習などの新しいアプリケーションに対応するため、I/O性能の重要性が高まっている。このためI/Oの最適化のためにスーパーコンピューター富岳におけるI/O性能の調査、データ圧縮によるI/Oの高速化をおこなった。特に、本研究での知見を活用し深層学習フレームワーク向けソフトウェア開発やMLPerf HPCのベンチマーク評価の一部に貢献した。その結果、「MLPerf HPC」の一つである「CosmoFlow」において「富岳」の約半分の規模を用いた性能評価で世界最高速度を達成した。
|
| 研究成果の学術的意義や社会的意義 |
近年、深層学習に代表される人工知能の研究が盛んに行われており、産業界でも人工知能は様々な形で実用化レベルまで到達している。この深層学習における計算処理には、学習モデルを構築する「学習フェーズ」と、構築された学習モデルを使って、実際に画像認識などの予測・認識を行う「推論フェーズ」に分かれている。深層学習では、より正確な予測・認識を可能にする学習モデルを高速に構築することが重要な要素となっている。本研究は、スーパーコンピュータなどの大規模システムにおける学習フェーズの高速化を達成する研究課題であり、学術的・社会的意義は高いと考る。
|
