計算資源を圧縮する符号理論に基づく深層学習モデルの新しい構築法

• 研究課題/領域番号: 24K20833
• 研究種目: 若手研究
• 配分区分: 基金
• 審査区分: 小区分61030:知能情報学関連
• 研究機関: 長岡技術科学大学
• 研究代表者: 雲居 玄道 長岡技術科学大学, 工学研究科, 講師 (90843839)
• 研究期間 (年度): 2024-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2026年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円); 2025年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円); 2024年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
• キーワード: 多値分類問題 / ECOC / 符号理論 / 深層学習

研究開始時の研究の概要

本研究では符号理論を基盤とした深層学習モデルの計算資源を圧縮する新しいモデル構築法を提案する．具体的には，多値出力を持つ任意の予測モデルに対して，カテゴリカルな出力層のノードを二値分類問題の組み合わせとして解釈することで，大規模言語モデルをはじめとする多くの深層学習モデルの出力層の構造を効果的に圧縮することが可能となる．この構築法は符号理論に基づいているため，性能の理論的な保証が得られ，信頼できるAIとして活用できることが強く期待できる．
さらに，カテゴリカルな出力を持つ他の多くの予測モデルにも適用可能であることから，計算効率や応答速度の向上，さらにはモデルの適用範囲の拡大が期待される．