PIM-AI framework for large-scale models with tensor-associative memory

• Project/Area Number: 25K03092
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60040:Computer system-related; Basic Section 60090:High performance computing-related; Sections That Are Subject to Joint Review: Basic Section60040:Computer system-related , Basic Section60090:High performance computing-related
• Research Institution: Institute of Science Tokyo
• Principal Investigator: 藤木 大地 東京科学大学, 総合研究院, 准教授 (60963254)
• Project Period (FY): 2025-04-01 – 2030-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥18,850,000 (Direct Cost: ¥14,500,000、Indirect Cost: ¥4,350,000); Fiscal Year 2029: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2028: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2027: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2026: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000); Fiscal Year 2025: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
• Keywords: PIM / 機械学習 / 計算機アーキテクチャ

Outline of Research at the Start

本研究では、メモリ内計算技術を用いて、特徴量読み出しがボトルネックとなっている大規模モデル推論の効率化を目指す。内部表現や出力特徴量を縮約した形式で保持するテンソル連想メモリを中心とした、新たなPIM-AIアーキテクチャを主軸とするフレームワークを開発し、1桁以上の効率向上を目指す。本フレームワークは、汎用的でGPUや機械学習アクセラレータなどに広く応用可能であり、大規模モデル推論の効率化・グリーン化に幅広く寄与することが期待される。