強化学習ハイパーパラメータの脳制御機構の解明

• 研究課題/領域番号: 24K03038
• 研究種目: 基盤研究(B)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分62010:生命、健康および医療情報学関連
• 研究機関: 防衛医科大学校(医学教育部医学科進学課程及び専門課程、動物実験施設、共同利用研究施設、病院並びに防衛
• 研究代表者: 太田 宏之 防衛医科大学校(医学教育部医学科進学課程及び専門課程、動物実験施設、共同利用研究施設、病院並びに防衛, 薬理学, 准教授 (20535190)
• 研究分担者: 今野 歩 群馬大学, 大学院医学系研究科, 講師 (40509048) ; 中野 高志 藤田医科大学, 医学部, 准教授 (70579953)
• 研究期間 (年度): 2024-04-01 – 2028-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 18,590千円 (直接経費: 14,300千円、間接経費: 4,290千円); 2027年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円); 2026年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円); 2025年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2024年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
• キーワード: 強化学習 / オペラント条件付け / k本腕バンディット課題 / 大脳基底核 / 学習率

研究開始時の研究の概要

学習の数理モデルの一つに強化学習がある。強化学習には1回の経験から従来の価値判断をどの程度更新するかを決める学習率と、価値判断に対して確信をもって行動するかランダムに行動するかを決める逆温度というハイパーパラメータがある。動物のハイパーパラメータを計測することで、脳と強化学習の数理モデルを対応づけることができる。従来より、アセチルコリン(ACh)とノルアドレナリン(NA)が学習率と逆温度を制御しているという仮説が提示されてきたが、それらを放出する神経核は複数あり、具体的な対応関係は不明であった。本計画では脳の各部位のACh/NA細胞を選択的に操作し脳のハイパーパラメータ調節機構を明らかにする。