Scalable System Software for Machine Learning on Heterogeneous Parallel Computing Environments

2020 Fiscal Year Annual Research Report

• Project/Area Number: 20H04165
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 遠藤 敏夫 東京工業大学, 学術国際情報センター, 教授 (80396788)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 並列計算 / 深層学習 / GPU / マルチコア / 局所性

Outline of Annual Research Achievements

以下の研究項目について研究を推進した。
(a) 演算カーネルレベルのマルチコア/SIMD並列性の活用：爆発的多様化するアーキテクチャ上でのソフトウェア開発コストを、主に演算カーネルレベルで低減をめざすことを目的とする。今年度は配列・行列操作記述のためのドメイン特化型言語(DSL)Halideを用い、ステンシルカーネルなどの記述を行った。それによりメモリアクセス局所性技術の適用と開発コストの低減が可能なことを、マルチコアCPU/GPUそれぞれの上で実証した。
(b) 水平・垂直方向の演算・データスケジューリング：分散並列機械学習処理において、演算カーネルやデータの、複雑な計算機アーキテクチャ上におけるマッピングの改良を目的とする。主にマルチGPU環境において、データ並列実行だけではメモリ容量制限のために実行が困難な大規模ニューラルネットワークモデルの実現のため、モデル並列実行の調査を行い、既存システムPipeDreamの調査および通信部分の改良を行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究項目(a)(b)それぞれにおいて、プロトタイプ実装または既存システムの改良を行い、性能向上を達成しており、おおむね順調と判断する。

Strategy for Future Research Activity

研究項目(a)において、並列時実行性能のゆらぎが大きいことが判明しており、その安定化や、タイルサイズなどのパラメータと性能の関連を調査し、最適化につなげる計画である。研究項目(b)において、既存システムのボトルネックをより詳細に調査し、計算・通信の総コストをおさえるマッピングの改良を行う予定である。各項目の成果について、国内外での研究発表を行う。