大規模長期系列モデル高性能化のための高速近似アルゴリズムの開発

• 研究課題/領域番号: 25K15135
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分60090:高性能計算関連
• 研究機関: 筑波大学
• 研究代表者: 二村 保徳 筑波大学, システム情報系, 准教授 (30736210)
• 研究期間 (年度): 2025-04-01 – 2028-03-31
• 研究課題ステータス: 交付 (2025年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2027年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2026年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2025年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
• キーワード: 大規模系列モデル / 行列近似

研究開始時の研究の概要

近年、大規模言語モデルをはじめとする大規模系列データモデルでは、そのコアとしてTransformerが用いられている。Transformerは離れた位置のトークン同士の関係を直接活用できる点で優れている。しかしながら、その処理に系列長の2乗に比例する計算量を要するため、長期系列データ活用のボトルネックとなっている。本研究では行列近似の理論に基づいた新規アルゴリズムとその高性能実装を開発することで、高速な長期系列モデルを実現する。本研究の成果が発展することにより、超大規模な言語モデル等の学習を高効率に実行することが可能となり、省コストで持続可能なAI活用社会の実現に資する。