Development of Fast Approximation Algorithms for Efficient Large-Scale Long-Term Series Models

• Project/Area Number: 25K15135
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60090:High performance computing-related
• Research Institution: University of Tsukuba
• Principal Investigator: 二村 保徳 筑波大学, システム情報系, 准教授 (30736210)
• Project Period (FY): 2025-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2027: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2026: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2025: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
• Keywords: 大規模系列モデル / 行列近似

Outline of Research at the Start

近年、大規模言語モデルをはじめとする大規模系列データモデルでは、そのコアとしてTransformerが用いられている。Transformerは離れた位置のトークン同士の関係を直接活用できる点で優れている。しかしながら、その処理に系列長の2乗に比例する計算量を要するため、長期系列データ活用のボトルネックとなっている。本研究では行列近似の理論に基づいた新規アルゴリズムとその高性能実装を開発することで、高速な長期系列モデルを実現する。本研究の成果が発展することにより、超大規模な言語モデル等の学習を高効率に実行することが可能となり、省コストで持続可能なAI活用社会の実現に資する。