|
ATR脳情報研究所/カリフォルニア工科大学の田中沙織氏、沖縄大学院大学(OIST)の銅谷賢治氏と共同で状態が連続的に変化する環境における意思決定課題におけるヒトの脳活動を機能的核磁気共鳴画像(fMRI)を用いて解析した。その結果、連続して状態が変化する環境において、決定論的に状態が変化する場合にはより長期の未来に得られる報酬を最大化するように行動が決定されるが、確率的に状態が変化する場合には、直近の報酬のみを最大化するような行動選択が見られることをしめした。さらに、課題中の脳活動を解析したところ、より長い報酬を考慮したときの脳活動が短い報酬を予測したときの脳活動よりも高い領域として、背外前頭前野・背側線条体であったのに対して、より短い報酬を予測したときの脳活動が高い領域は腹側の線条体であった。このことは、報酬変化がないとしても、状態変化の予測可能性に依存してヒトが将来を見込みなが意思決定する際の時間スケールを適応的に変化させること、その変化に応じて、大脳皮質-大脳基底核に存在する複数のループ回路が使い分けられている可能性を示唆している。この結果は、大脳皮質-大脳基底核ループ回路において、複数の強化学習を行う回路が存在し、その回路が環境や状況に依存して適応的に選択され、使われ、学習される、という計算論的なモデルを示唆している。
ATR脳情報研究所の川人光男所長と共同で、これまでに発表してきた複数の予測モデルを用いた強化学習モデュールアーキテクチャと、脳での複数強化学習の可能性、と強化学習のアルゴリズムであるTD学習が、大脳基底核の線条体と中脳ドーパミン細胞によっていかにして実現されるのか、についての仮説を提案するreview論文を発表した。
|
