New Construction Methods for Deep Learning Models Based on Coding Theory for Compressing Computational Resources

• Project/Area Number: 24K20833
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Nagaoka University of Technology
• Principal Investigator: 雲居 玄道 長岡技術科学大学, 工学研究科, 講師 (90843839)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2026: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: 多値分類問題 / ECOC / 符号理論 / 深層学習

Outline of Research at the Start

本研究では符号理論を基盤とした深層学習モデルの計算資源を圧縮する新しいモデル構築法を提案する．具体的には，多値出力を持つ任意の予測モデルに対して，カテゴリカルな出力層のノードを二値分類問題の組み合わせとして解釈することで，大規模言語モデルをはじめとする多くの深層学習モデルの出力層の構造を効果的に圧縮することが可能となる．この構築法は符号理論に基づいているため，性能の理論的な保証が得られ，信頼できるAIとして活用できることが強く期待できる．
さらに，カテゴリカルな出力を持つ他の多くの予測モデルにも適用可能であることから，計算効率や応答速度の向上，さらにはモデルの適用範囲の拡大が期待される．