Elucidating Functional Roles of Nonlinear TD Errors Guided by Reinforcement Learning as Inference

Publicly Offered Research

Project Area	Extension and validation of unified theories of prediction and action
Project/Area Number	24H02176
Research Category	Grant-in-Aid for Transformative Research Areas (A)
Allocation Type	Single-year Grants
Review Section	Transformative Research Areas, Section (IV)
Research Institution	National Institute of Informatics
Principal Investigator	小林泰介国立情報学研究所, 情報学プリンシプル研究系, 助教 (10796452)
Project Period (FY)	2024-04-01 – 2026-03-31
Project Status	Granted (Fiscal Year 2025)
Budget Amount *help	¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000) Fiscal Year 2025: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000) Fiscal Year 2024: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Keywords	強化学習 / TD誤差 / アンサンブルモデル / モデル同定
Outline of Research at the Start	本研究では，生物の意思決定モデルとして注目されている強化学習において，将来の収益に関する予測誤差と学習量との間に潜む多様な非線形性を確率推論としての強化学習に則って理論的に導出する．また，得られた非線形性を複合的に・選択的に継承可能なアンサンブルモデルを設計し，その更新原理を自由エネルギーなどの普遍的規範に基づき確立する．こうして導かれる新たな強化学習を駆使して，生物の意思決定モデルの精緻化を図る．