2022 Fiscal Year Annual Research Report
Scalable System Software for Machine Learning on Heterogeneous Parallel Computing Environments
| Project/Area Number |
20H04165
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
遠藤 敏夫 東京工業大学, 学術国際情報センター, 教授 (80396788)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 並列計算 / 深層学習 / GPU / マルチコア / 局所性 |
|---|
| Outline of Annual Research Achievements |
以下の研究項目について研究を推進した。
(a) 演算カーネルレベルのマルチコア/SIMD並列性の活用：本項目では前年に引き続き、ドメイン特化型言語(DSL)Halideにより、反復をまたぐブロッキング技術を含めたステンシルカーネルの改良を行った。流体計算などへ応用するには境界条件をプログラマが記述できる必要があるが、この場合でも効率的に動作する手法を提案した。並行して、映像検出タスクの手法であるSwin Transformerを改良し、Pyramid Swin Transformer手法を提案した。さらに音声認識手法の改良のために、音声変換技術をデータ拡張に応用する手法を提案し、認識精度の向上を実証した。以上の内容について成果を査読付き国際会議や研究会にて発表した。
(b) 水平・垂直方向の演算・データスケジューリング：東工大TSUBAMEスパコンなどのマルチGPU環境において、パイプライン並列とデータ並列を併用するハイブリッド並列を行うフレームワークの改良を行った。パイプライン並列を導入すると、パラメータのstaleness問題により学習精度が下がってしまう問題がある。この緩和のために、学習の初期にデータ並列学習を行い、後にハイブリッド並列へ切り替えることにより、精度と全体性能を両立する手法を提案した。この成果について国際会議へ投稿中である。
以上の一部の研究は産業技術総合研究所との協働で行った。
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
Research Products
(7 results)
