Brain mechanisms for generating exploratory adaptation: A computational modeling based on meta-reinforcement learning

Publicly Offered Research

Project Area	Hyper-adaptability for overcoming body-brain dysfunction: Integrated empirical and system theoretical approaches
Project/Area Number	22H04793
Research Category	Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
Allocation Type	Single-year Grants
Review Section	Complex systems
Research Institution	防衛大学校(総合教育学群、人文社会科学群、応用科学群、電気情報学群及びシステム工学群)
Principal Investigator	植山祐樹防衛大学校(総合教育学群、人文社会科学群、応用科学群、電気情報学群及びシステム工学群), システム工学群, 准教授 (30710800)
Project Period (FY)	2022-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000) Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000) Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Keywords	強化学習 / メタ学習 / 運動学習 / 脳イメージング / fMRI
Outline of Research at the Start	我々は未知の環境に対して試行錯誤的な振る舞いをとることで，その結果として得られる限られた情報から環境への適応を効率的に実現することができる。そのような探索的な適応機能はメタ強化学習としてモデル化が可能であり，近年のAI研究では身体欠損を伴う身体ダイナミクスの変化に対しても素早く適応し，新たな運動機能が獲得されることが報告されている。そこで本研究では，試行錯誤的な探索行動に基づく適応機構を探索的適応として定義し，それが超適応の一端を担う脳の計算機構であると考える。そして，その神経基盤を明らかにするために，視覚運動学習を対象としたfMRI実験による脳機能画像および計算論の両面からアプローチする。
Outline of Annual Research Achievements	我々は未知の環境に対して試行錯誤的な振る舞いをとることで、その行動の結果として得られる限られた情報を基に効率的な環境への適応を実現している。本研究では、そのような試行錯誤的な探索行動に基づく適応機構を探索的適応として定義し、それを実現する神経基盤の解明を目的とする。そのために、視覚運動学習における回転座標変換課題を対象に、①fMRIによる課題遂行中の脳活動を計測し、②課題遂行時に発生する探索的適応をメタ強化学習としてモデル化する。そして、①および②から脳活動をモデルによる推定結果に基づいて分析することで、探索的適応を実現している脳内ネットワークの同定を目指す。本年度の研究実績として、①については過去に実施した実験データを用いた解析を行なった。その結果、探索的適応に関係すると考えられる脳内ネットワークの一部を同定することができた。その成果の一部はすでに論文としてまとめており、早急に投稿する予定である。一方で、視覚運動学習における感覚情報と報酬情報の相互作用を含めた学習効果を抽出する新たな実験課題の開発を計画していたが、本年度は着手することができなかった。 ②について過去に実施した実験データに基づき、適応的探索を（探索的適応）＝（運動記憶［メモリ］）＋（探索ノイズ）として仮定し、探索的適応を実現する強化学習モデルを構築した。さらに、構築したモデルを用いて、実験課題に対するシミュレーションを実施し、実験結果を高精度に再現することができた。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 令和４年度は、新たな実験課題の開発を計画していたが、着手することができなかった。したがって、やや遅れていると判断した。
Strategy for Future Research Activity	令和４年度に実施することができなかった実験課題の新規開発を行い、当該実験課題を用いたfMRI実験を実施する。それによって、探索的適応を実現するための脳の機能的ネットワーク構造の解明を目指す。