| 研究課題/領域番号 |
20H04165
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60050:ソフトウェア関連
|
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
遠藤 敏夫 東京工業大学, 学術国際情報センター, 教授 (80396788)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| 研究課題ステータス |
完了 (2022年度)
|
| 配分額 *注記 |
17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)
2022年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
2021年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
2020年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円)
|
|---|
| キーワード | 深層学習 / GPU / メモリ階層 / DSL / 並列計算 / マルチコア / 局所性 / 並列処理 / 機械学習 / 異種アーキテクチャ / プログラミング |
|---|
| 研究開始時の研究の概要 |
昨今爆発的に機械学習・深層学習の需要が増し、深層学習フレームワークや対話的処理環境などの普及により、機械学習処理へ様々なプレイヤーが参入する敷居は大きく下がっている。その大規模化・高速化を図るためにはアクセラレータを含む異種プロセッサや多数ノードによる並列化が必要であるが、現状では個別のアルゴリズムごとの対応が必要になり、新規アルゴリズムを提案する場合に大規模化・高速化が滞る傾向にある。そこで本研究では先進プロセッサアーキテクチャや複数ノードによる速度性能と異種メモリによる演算規模を、新規アルゴリズムからも容易に享受できるような、基盤ソフトウェア技術の研究開発を行う。
|
| 研究成果の概要 |
深層学習は多くの計算量を必要とするためにGPUなどの高性能プロセッサを多数必要とする。しかしその高性能を引き出すためには複雑な計算機アーキテクチャの特性を考慮する必要があり、新規学習アルゴリズムの取り入れに障害となる。本研究では高性能とソフトウェア開発コスト低減の両立を対象とした。統合成果の一つとして、多数GPUを持つスパコン上の学習を改善するためのハイブリッド並列学習フレームワークを構築した。
|
| 研究成果の学術的意義や社会的意義 |
LLMの隆盛に代表されるように、機械学習処理には社会を変革する力があると考えられるが、アルゴリズムの改良と大規模な計算機アーキテクチャを活用するための技術の双方が必要である。本研究では主に後者の立場から、GPUなどのプロセッサ内の処理効率化と、多数GPU搭載計算機をよどみなく活用するフレームワーク等を実現した。これら基盤技術により、LLMのさらなる改善への応用が期待される。
|
