強化学習ハイパーパラメータの脳制御機構の解明

• Project/Area Number: 24K03038
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62010:Life, health and medical informatics-related
• Research Institution: National Defense Medical College
• Principal Investigator: 太田 宏之 防衛医科大学校(医学教育部医学科進学課程及び専門課程、動物実験施設、共同利用研究施設、病院並びに防衛, 薬理学, 准教授 (20535190)
• Co-Investigator(Kenkyū-buntansha): 今野 歩 群馬大学, 大学院医学系研究科, 講師 (40509048) ; 中野 高志 藤田医科大学, 医学部, 准教授 (70579953)
• Project Period (FY): 2024-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000); Fiscal Year 2027: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2026: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2025: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2024: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
• Keywords: 強化学習 / オペラント条件付け / k本腕バンディット課題 / 大脳基底核 / 学習率

Outline of Research at the Start

学習の数理モデルの一つに強化学習がある。強化学習には1回の経験から従来の価値判断をどの程度更新するかを決める学習率と、価値判断に対して確信をもって行動するかランダムに行動するかを決める逆温度というハイパーパラメータがある。動物のハイパーパラメータを計測することで、脳と強化学習の数理モデルを対応づけることができる。従来より、アセチルコリン(ACh)とノルアドレナリン(NA)が学習率と逆温度を制御しているという仮説が提示されてきたが、それらを放出する神経核は複数あり、具体的な対応関係は不明であった。本計画では脳の各部位のACh/NA細胞を選択的に操作し脳のハイパーパラメータ調節機構を明らかにする。