スケーラブルな機械学習基盤ソフトウェア技術の省計算資源化への展開

• 研究課題/領域番号: 23K28059
• 補助金の研究課題番号: 23H03369 (2023)
• 研究種目: 基盤研究(B)
• 配分区分: 基金 (2024); 補助金 (2023)
• 応募区分: 一般
• 審査区分: 小区分60050:ソフトウェア関連
• 研究機関: 東京工業大学
• 研究代表者: 遠藤 敏夫 東京工業大学, 学術国際情報センター, 教授 (80396788)
• 研究分担者: 坂本 龍一 東京工業大学, 情報理工学院, 准教授 (10761140)
• 研究期間 (年度): 2023-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 18,460千円 (直接経費: 14,200千円、間接経費: 4,260千円); 2026年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2025年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2024年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2023年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
• キーワード: 基盤ソフトウェア / 機械学習 / GPU / 高性能計算 / スケジューリング

研究開始時の研究の概要

現在、爆発的に機械学習・深層学習の需要が増し、深層学習フレームワークや対話的処理環境などの普及により、機械学習処理へ様々なプレイヤーが参入する時代が到来している。しかし近年はGPTに代表されるLLM（大規模言語モデル）の学習処理があまりに膨大で、米国などのビッグテックしか競争に残らない可能性が懸念されている。本研究では、基盤ソフトウェアの立場から、大規模学習をより身近で高速にするために、(a) 演算カーネルレベルの計算資源有効活用、(b) ノード内・ノード間の演算・データスケジューリング、(c) システム全体の資源利用効率向上のためのスケジューリング、などの技術開発を行う。