階層型ストレージを活用した基盤モデル学習のI/Oの高速化

• 研究課題/領域番号: 24K14974
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分60090:高性能計算関連
• 研究機関: 国立研究開発法人理化学研究所
• 研究代表者: 佐藤 賢斗 国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (50739696)
• 研究分担者: 三輪 忍 電気通信大学, 大学院情報理工学研究科, 准教授 (90402940)
• 研究期間 (年度): 2024-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2026年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円); 2025年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円); 2024年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
• キーワード: 高性能計算 / 深層学習 / 基盤モデル / ストレージ / データ

研究開始時の研究の概要

生成AIがあらゆる分野において活用されており、生成AIを支える基盤モデルの高速な構築が非常に重要になっている。基盤モデルの高速化には計算性能とI/O性能の両立が不可欠である。本研究提案ではI/O性能の高速化を行うことで基盤モデル学習の高速化を実現する。具体的には、多くの大規模計算機で採用されている階層型ストレージを活用し、学習データの配置の最適化や非同期プレフェッチを行い読み込みの高速化を行うとともに、AI技術を活用したモデル圧縮を適用しチェックポイントによる書き出しの高速化を行うことで実現する。最終的に本研究で開発されたI/O高速化手法を実際の大規模計算機環境で実証実験を行う。