Development of a Binary Vision Transformer Hardware

• Project/Area Number: 24K02912
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60040:Computer system-related; Basic Section 60090:High performance computing-related; Sections That Are Subject to Joint Review: Basic Section60040:Computer system-related , Basic Section60090:High performance computing-related
• Research Institution: Tohoku University
• Principal Investigator: 中原 啓貴 東北大学, 未踏スケールデータアナリティクスセンター, 教授 (20624414)
• Co-Investigator(Kenkyū-buntansha): 神宮司 明良 国立研究開発法人理化学研究所, 計算科学研究センター, 研究員 (90914242)
• Project Period (FY): 2024-04-01 – 2029-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥13,000,000 (Direct Cost: ¥10,000,000、Indirect Cost: ¥3,000,000); Fiscal Year 2028: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000); Fiscal Year 2027: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000); Fiscal Year 2026: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000); Fiscal Year 2025: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000); Fiscal Year 2024: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
• Keywords: Machine Learning / AI / Transformer / FPGA

Outline of Research at the Start

2020年には画像タスクに適したVision Transformer (ViT)が提案された. ViTは内部パラメータ数が膨大であり，組込み機器に搭載するにはメモリ量が不足するため, パラメータ削減法が求められている. 本研究では焼きなまし法を用いて事前学習分布からBinary ViT (BViT)に適した分布に学習する方法を提案する. 提案するBViT学習では学習中のパラメータ分布の変動を抑えつつ, Binary重みに適した分布に逐次更新する. FPGAを用いてBViT専用ハードウェアのプロトタイプを実現する. GPUと比較して電力を削減しつつ, 高速に推論できる見込みである.