2023 Fiscal Year Annual Research Report
Brain mechanisms for generating exploratory adaptation: A computational modeling based on meta-reinforcement learning
Publicly Offered Research
| Project Area | Hyper-adaptability for overcoming body-brain dysfunction: Integrated empirical and system theoretical approaches |
|---|
| Project/Area Number |
22H04793
|
|---|
| Research Institution | 防衛大学校(総合教育学群、人文社会科学群、応用科学群、電気情報学群及びシステム工学群) |
|---|
Principal Investigator |
植山 祐樹 防衛大学校(総合教育学群、人文社会科学群、応用科学群、電気情報学群及びシステム工学群), システム工学群, 准教授 (30710800)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Keywords | 強化学習 / fMRI / メタ学習 / 運動学習 / リカレントニューラルネットワーク / 運動ノイズ / 探索ノイズ / AR |
|---|
| Outline of Annual Research Achievements |
我々は未知の環境に対して試行錯誤的な振る舞いをとることで、その行動の結果として得られる限られた情報を基に効率的な環境への適応を実現している。本研究では、そのような試行錯誤的な探索行動に基づく適応機構を探索的適応として定義し、それを実現する神経基盤の解明を目的とする。そのために、視覚運動学習における回転座標変換課題を対象に、fMRIによる課題遂行中の脳活動から、課題遂行時に発生する探索的適応をメタ強化学習としてモデル化する。そして、脳活動をモデルによる推定結果に基づいて分析することで、探索的適応を実現している脳内ネットワークの同定を目指す。
今年度の成果として、昨年度に同定した探索的適応を実現する脳内ネットワークに対する神経回路モデルを構築した。構築した神経回路モデルは、LSTMと呼ばれるリカレント型の回路モデルによって構成されており、深層強化学習によって学習することで、シミュレーションによってfMRI実験で得られた行動データを高精度に再現することができた。今後、構築された神経回路モデルを用いることで、より詳細な神経基盤が明らかになると考えられる。
加えて、運動技能の獲得のために、拡張現実感技術（AR）を用いた新たな訓練手法を開発し、ダーツを用いた実験によってその有効性を明らかにした。開発した訓練手法を用いることで、訓練後にダーツ技能が向上することが明らかとなった。さらに、ARを用いた訓練時には、運動時に発生する運動ノイズ全体の大きさには変化はないものの、運動ノイズに含まれる探索ノイズの成分が増加していることが示唆された。探索ノイズは運動計画の更新に関与するものである。したがって、ARを用いた訓練によって探索的適応が促進された可能性があり、本成果は、運動技能の向上を自発的に誘発させる新たな訓練手法につながると考えられる。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
