深層学習のための勾配の推定法に関する研究

• Project/Area Number: 25K21226
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Hiroshima University
• Principal Investigator: 相澤 宏旭 広島大学, 先進理工系科学研究科(工), 助教 (30910301)
• Project Period (FY): 2025-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000); Fiscal Year 2027: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2026: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2025: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
• Keywords: 深層学習 / 画像認識 / 最適化

Outline of Research at the Start

ニューラルネットワークは従来の画像認識タスクの枠を超えて大規模言語モデルや基盤モデルなどの方向性で急速に進展し，現在の人工知能ブームを作り出している．その優れた汎化性能を達成するために，ニューラルネットワークのパラメータは，損失関数に関する勾配に基づいて最適化されるが，勾配はモデルの学習に関する様々な要因に左右され，時に，汎化が達成できない勾配や学習が破綻するような勾配が得られる場合がある．本研究課題では，勾配のノイズやその成分と特性に着目し，優れた汎化性能を達成するための勾配の推定方法を検討する．