Deployment of Scalable System Software for Machine Learning Technology to Saving Computing Resources

• Project/Area Number: 23K28059
• Project/Area Number (Other): 23H03369 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 60050:Software-related
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 遠藤 敏夫 東京工業大学, 学術国際情報センター, 教授 (80396788)
• Co-Investigator(Kenkyū-buntansha): 坂本 龍一 東京工業大学, 情報理工学院, 准教授 (10761140)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,460,000 (Direct Cost: ¥14,200,000、Indirect Cost: ¥4,260,000); Fiscal Year 2026: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2025: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2024: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
• Keywords: 基盤ソフトウェア / 機械学習 / GPU / 高性能計算 / スケジューリング

Outline of Research at the Start

現在、爆発的に機械学習・深層学習の需要が増し、深層学習フレームワークや対話的処理環境などの普及により、機械学習処理へ様々なプレイヤーが参入する時代が到来している。しかし近年はGPTに代表されるLLM（大規模言語モデル）の学習処理があまりに膨大で、米国などのビッグテックしか競争に残らない可能性が懸念されている。本研究では、基盤ソフトウェアの立場から、大規模学習をより身近で高速にするために、(a) 演算カーネルレベルの計算資源有効活用、(b) ノード内・ノード間の演算・データスケジューリング、(c) システム全体の資源利用効率向上のためのスケジューリング、などの技術開発を行う。