Optimizing I/O Performance for Foundation Model Training using Hierarchical Storage

• Project/Area Number: 24K14974
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60090:High performance computing-related
• Research Institution: Institute of Physical and Chemical Research
• Principal Investigator: 佐藤 賢斗 国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (50739696)
• Co-Investigator(Kenkyū-buntansha): 三輪 忍 電気通信大学, 大学院情報理工学研究科, 准教授 (90402940)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2026: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: 高性能計算 / 深層学習 / 基盤モデル / ストレージ / データ

Outline of Research at the Start

生成AIがあらゆる分野において活用されており、生成AIを支える基盤モデルの高速な構築が非常に重要になっている。基盤モデルの高速化には計算性能とI/O性能の両立が不可欠である。本研究提案ではI/O性能の高速化を行うことで基盤モデル学習の高速化を実現する。具体的には、多くの大規模計算機で採用されている階層型ストレージを活用し、学習データの配置の最適化や非同期プレフェッチを行い読み込みの高速化を行うとともに、AI技術を活用したモデル圧縮を適用しチェックポイントによる書き出しの高速化を行うことで実現する。最終的に本研究で開発されたI/O高速化手法を実際の大規模計算機環境で実証実験を行う。