Scalable System Software for Machine Learning on Heterogeneous Parallel Computing Environments
| Project/Area Number |
20H04165
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60050:Software-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
Endo Toshio 東京工業大学, 学術国際情報センター, 教授 (80396788)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000)
Fiscal Year 2022: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2021: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Fiscal Year 2020: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000)
|
|---|
| Keywords | 深層学習 / GPU / メモリ階層 / DSL / 並列計算 / マルチコア / 局所性 / 並列処理 / 機械学習 / 異種アーキテクチャ / プログラミング |
|---|
| Outline of Research at the Start |
昨今爆発的に機械学習・深層学習の需要が増し、深層学習フレームワークや対話的処理環境などの普及により、機械学習処理へ様々なプレイヤーが参入する敷居は大きく下がっている。その大規模化・高速化を図るためにはアクセラレータを含む異種プロセッサや多数ノードによる並列化が必要であるが、現状では個別のアルゴリズムごとの対応が必要になり、新規アルゴリズムを提案する場合に大規模化・高速化が滞る傾向にある。そこで本研究では先進プロセッサアーキテクチャや複数ノードによる速度性能と異種メモリによる演算規模を、新規アルゴリズムからも容易に享受できるような、基盤ソフトウェア技術の研究開発を行う。
|
| Outline of Final Research Achievements |
Deep learning is computationally intensive and requires lots of high performance processors such as GPUs. However, in order to achieve high performance, it is necessary to consider the characteristics of complex computer architectures, which hinders the incorporation of new learning algorithms. This research targets both high performance and software development cost reduction. As one of the integrated results, we constructed a hybrid parallel learning framework to improve learning on a supercomputer with many GPUs.
|
| Academic Significance and Societal Importance of the Research Achievements |
LLMの隆盛に代表されるように、機械学習処理には社会を変革する力があると考えられるが、アルゴリズムの改良と大規模な計算機アーキテクチャを活用するための技術の双方が必要である。本研究では主に後者の立場から、GPUなどのプロセッサ内の処理効率化と、多数GPU搭載計算機をよどみなく活用するフレームワーク等を実現した。これら基盤技術により、LLMのさらなる改善への応用が期待される。
|
Report
(4 results)
Research Products
(9 results)
