Efficient Federated Learning for Deep Learning Through Structured Training

• 研究課題/領域番号: 24K20845
• 研究種目: 若手研究
• 配分区分: 基金
• 審査区分: 小区分61030:知能情報学関連
• 研究機関: 統計数理研究所
• 研究代表者: 李 静沛 統計数理研究所, 先端データサイエンス研究系, 准教授 (00984767)
• 研究期間 (年度): 2024-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2026年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円); 2025年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円); 2024年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
• キーワード: Federated learning / Deep learning / Structured optimization / Nonsmooth optimization

研究開始時の研究の概要

To reduce the cost of training such huge deep learning models, this project will explore and utilize possible structures in the intermediate models and the updates at each iteration as well as in the final model to decrease reduce the inter-machine communication cost and the amount of computation.