深層学習のための勾配の推定法に関する研究

• 研究課題/領域番号: 25K21226
• 研究種目: 若手研究
• 配分区分: 基金
• 審査区分: 小区分61010:知覚情報処理関連
• 研究機関: 広島大学
• 研究代表者: 相澤 宏旭 広島大学, 先進理工系科学研究科(工), 助教 (30910301)
• 研究期間 (年度): 2025-04-01 – 2028-03-31
• 研究課題ステータス: 交付 (2025年度)
• 配分額: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円); 2027年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2026年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2025年度: 3,120千円 (直接経費: 2,400千円、間接経費: 720千円)
• キーワード: 深層学習 / 画像認識 / 最適化

研究開始時の研究の概要

ニューラルネットワークは従来の画像認識タスクの枠を超えて大規模言語モデルや基盤モデルなどの方向性で急速に進展し，現在の人工知能ブームを作り出している．その優れた汎化性能を達成するために，ニューラルネットワークのパラメータは，損失関数に関する勾配に基づいて最適化されるが，勾配はモデルの学習に関する様々な要因に左右され，時に，汎化が達成できない勾配や学習が破綻するような勾配が得られる場合がある．本研究課題では，勾配のノイズやその成分と特性に着目し，優れた汎化性能を達成するための勾配の推定方法を検討する．