予測と意思決定の神経回路ダイナミクスの解明

2015 年度 実績報告書

• 研究領域: 予測と意思決定の脳内計算機構の解明による人間理解と応用
• 研究課題/領域番号: 23120007
• 研究機関: 沖縄科学技術大学院大学
• 研究代表者: 銅谷 賢治 沖縄科学技術大学院大学, 神経計算ユニット, 教授 (80188846)
• 研究期間 (年度): 2011-04-01 – 2016-03-31
• キーワード: 意思決定 / モデルフリー / モデルベース / 強化学習 / ベイズ推定 / 二光子顕微鏡 / 大脳基底核 / 大脳皮質

研究実績の概要

1)脳内シミュレーション過程の可視化：
前進すると音源位置が接近し、音源に最接近した時点でリッキングを行うと水報酬が得られるという「聴覚仮想ナビゲーション課題」を実行中のマウスの、頭頂連合野および第２次視覚野のニューロン活動の二光子顕微鏡による記録実験とデータ解析を行った。
ニューロン活動データから音源位置を推定するベイズデコーダーにより、音が提示されない期間にも音源位置の予測が更新され、音亭提示によりその不確かさが減少するという、動的ベイズフィルターを特徴づける振る舞いが確認された。この結果を論文にまとめ投稿した。
2)モデルベースとモデルフリーの意思決定の神経回路：
確率報酬による意思決定課題中のラットの行動系列は有限状態マシンとしてモデル化し予測できること、その特定の状態遷移に関わるニューロンが背内側線条体に存在することを明らかにし、論文を出版した。
内視鏡型超小型顕微鏡による海馬および線条体の神経活動の光学記録とデータ解析を行い、海馬には場所だけでなく歩行の停止に関連する活動成分が強く見られること、線条体のストライオソームでは報酬予測に応じた活動が条件付学習にともない形成されることを明らかにした。

現在までの達成度 (段落)

27年度が最終年度であるため、記入しない。

今後の研究の推進方策

27年度が最終年度であるため、記入しない。

研究成果

• [雑誌論文] Consensus Paper: Towards a Systems-Level View of Cerebellar Function: the Interplay Between Cerebellum, Basal Ganglia, and Cortex (2016)
  • 著者名/発表者名: Caligiore D, Pezzulo G, Baldassarre G, Bostan A C., Strick P L., Doya K, Helmich R C., Dirkx M, Houk J, Jörntell H, Lago-Rodriguez A, Galea J M., Miall R. C, Popa T, Kishore A, Verschure P F.M.J., Zucca R,Herreros I
  • 雑誌名: The Cerebellum 巻: 15 ページ: 1-27
  • DOI: 10.1007/s12311-016-0763-3
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] 線形可解マルコフ決定過程を用いた順・逆強化学習 (2016)
  • 著者名/発表者名: 内部英治
  • 雑誌名: 日本神経回路学会誌 巻: 23 ページ: 2-13
  • DOI: 10.3902/jnns.23.2
  • 謝辞記載あり
• [雑誌論文] EM-based policy hyper parameter exploration: application to standing and balancing of a two-wheeled smartphone robot (2016)
  • 著者名/発表者名: Wang J, Uchibe E, Doya K
  • 雑誌名: Artificial Life and Robotics 巻: 21 ページ: 125-131
  • DOI: 10.1007/s10015-015-0260-7
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Hierarchical control of goal-directed action in the cortical–basal ganglia network (2015)
  • 著者名/発表者名: Balleine B, Dezfouli A, Ito M, Doya K
  • 雑誌名: Current Opinion in Behavioral Sciences 巻: 5 ページ: 1-7
  • DOI: 10.1016/j.cobeha.2015.06.001
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Parallel Representation of Value-Based and Finite State-Based Strategies in the Ventral and Dorsal Striatum (2015)
  • 著者名/発表者名: Ito M, Doya K
  • 雑誌名: PLOS Computational Biology 巻: 11 ページ: e1104540
  • DOI: 10.1371/ journal.pcbi.1004540
  • 査読あり / オープンアクセス / 謝辞記載あり
• [学会発表] Neural Circuits and Neuromodulations Prediction and Decision under Uncertainty:Roles of the Cortical Circuit and Serotonin (2015)
  • 著者名/発表者名: Doya K
  • 学会等名: 7th International Symposium on Optogenetics:Neural Circuits and Neuromodulations
  • 発表場所: Akio Suzuki Memorial Hall, Medical and Dental University,Tokyo
  • 年月日: 2015-12-04 – 2015-12-05
  • 国際学会 / 招待講演
• [学会発表] モデルベース予測の脳機構 (2015)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 日本心理学会7第9回大会
  • 発表場所: 名古屋国際会議場
  • 年月日: 2015-09-23 – 2015-09-23
  • 招待講演
• [学会発表] Investigating neural implementation of model-based decision making by two-photon microscopy (2015)
  • 著者名/発表者名: Funamizu A, Kuhn B, Doya K
  • 学会等名: The 6th FAONS Congress and 11th Biennial Conference of the Chinese Neuroscience Society (CNS)
  • 発表場所: Wuzhen, CHINA
  • 年月日: 2015-09-22 – 2015-09-22
  • 国際学会 / 招待講演
• [学会発表] Uncovering representations and algorithms of decision making by model-based analysis of striatal neuron activities (2015)
  • 著者名/発表者名: Ito M
  • 学会等名: The 6th FAONS Congress and 11th Biennial Conference of the Chinese Neuroscience Society (CNS)
  • 発表場所: Wuzhen, CHINA
  • 年月日: 2015-09-22 – 2015-09-22
  • 国際学会 / 招待講演
• [学会発表] Neuronal Mechanism of Reward-Based Learning and Decision (2015)
  • 著者名/発表者名: Doya K
  • 学会等名: Brain Conference 2015; Joint Conference of KSBNS and KSND
  • 発表場所: Korea Brain Research Institute, Daegu, KOREA
  • 年月日: 2015-09-11 – 2015-09-11
  • 国際学会 / 招待講演
• [学会発表] 行動学習の多層的な表現・アルゴリズムとその制御 (2015)
  • 著者名/発表者名: 銅谷賢治
  • 学会等名: 日本発達神経科学学会第４回学術集会
  • 発表場所: 大阪大学
  • 年月日: 2015-09-06 – 2015-09-06
  • 招待講演
• [学会発表] Serotonin and the regulation of patience (2015)
  • 著者名/発表者名: Doya K, Miyazaki Kayoko W, Miyazaki Katsuhiko
  • 学会等名: Neuroscience2015-38th Annual Meeting of the Japan Neuroscience Society
  • 発表場所: Kobe International Conference Center
  • 年月日: 2015-07-30 – 2015-07-30
  • 国際学会 / 招待講演
• [学会発表] Action-dependent state prediction in mouse parietal cortex during an auditory virtual navigation task (2015)
  • 著者名/発表者名: Funamizu A, Kuhn B, Doya K
  • 学会等名: Neuroscience2015-38th Annual Meeting of the Japan Neuroscience Society
  • 発表場所: Kobe International Conference Center
  • 年月日: 2015-07-29 – 2015-07-29
  • 国際学会
• [学会発表] The role of the cortico-basal ganglia loops for reward-motivated choice motor behavior (2015)
  • 著者名/発表者名: Yoshizawa T, Ito M, Doya K
  • 学会等名: Neuroscience2015- 38th Annual Meeting of the Japan Neuroscience Society
  • 発表場所: Kobe International Conference Center
  • 年月日: 2015-07-29 – 2015-07-29
  • 国際学会
• [学会発表] Neural representations of memory-based and value-based decision strategies in the cortico-basal ganglia loops (2015)
  • 著者名/発表者名: Ito M, Doya K
  • 学会等名: Neuroscience 2015-38th Annual Meeting of the Japan Neuroscience Society
  • 発表場所: Kobe International Conference Center
  • 年月日: 2015-07-28 – 2015-07-28
  • 国際学会
• [学会発表] How do we define the rewards in reinforcement learning? (2015)
  • 著者名/発表者名: Uchibe E
  • 学会等名: 電子情報通信学会ニューロコンピューティング研究会
  • 発表場所: OIST
  • 年月日: 2015-06-23 – 2015-06-25
  • 招待講演
• [学会発表] Inverse Reinforcement Learning with Density Ratio Estimation (2015)
  • 著者名/発表者名: Uchibe E, Doya K
  • 学会等名: The Multi-disciplinary Conference on Reinforcement Learning and Decision Making 2015(RLDM2015)
  • 発表場所: University of Alberta, Edmonton, Canada
  • 年月日: 2015-06-08 – 2015-06-08
  • 国際学会
• [学会発表] Neural implementation of mental simulation (2015)
  • 著者名/発表者名: Doya K
  • 学会等名: The 5th International conference on Cognitive Neurodynamics
  • 発表場所: Sanya, China
  • 年月日: 2015-06-05 – 2015-06-05
  • 国際学会 / 招待講演
• [学会発表] 後頭頂葉におけるモデルベース意思決定時の神経表現 (2015)
  • 著者名/発表者名: 船水章大
  • 学会等名: 第54回日本生体医工学会大会
  • 発表場所: 名古屋国際会議場
  • 年月日: 2015-05-07 – 2015-05-07
  • 招待講演
• [備考] 「予測と意思決定」新学術領域webページ
  • URL: http://www.decisions.jp
• [備考] 沖縄科学技術大学院大学 神経計算ユニット
  • URL: https://groups.oist.jp/ncu
• [学会・シンポジウム開催] International Symposium on Prediction and Decision Making 2015 (2015)
  • 発表場所: Koshiba Hall, The University of Tokyo
  • 年月日: 2015-10-31 – 2015-11-01