• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2012 Fiscal Year Annual Research Report

Elucidation of the Neural Circuit Dynamics for Prediction and Decision Making

Planned Research

Project AreaElucidation of neural computation for prediction and decision making: toward better human understanding and applications
Project/Area Number 23120007
Research InstitutionOkinawa Institute of Science and Technology Graduate University

Principal Investigator

銅谷 賢治  沖縄科学技術大学院大学, その他の研究科, 教授 (80188846)

Project Period (FY) 2011-04-01 – 2016-03-31
Keywords意思決定 / モデルフリー / モデルベース / 強化学習 / ベイズ推定 / 二光子顕微鏡 / 大脳基底核 / 大脳皮質
Outline of Annual Research Achievements

1)脳内シミュレーション過程の可視化
H23年度に立ち上げたマウスの行動実験系と二光子顕微鏡を用いて、大脳皮質ニューロン活動の光学記録実験を開始した。行動課題としては以下の3つを用いた。1) 左右からの音刺激のうち片方の後に水報酬を与え、予測的リッキングの有無で報酬予測を評価する課題。2) 音源がマウスのまわりを異なる速度で周回し、一定位置に到達すると水報酬を与え、予測的リッキングから外界の状態予測を評価する課題。3) マウスが前進すると音源位置が接近し、音源に最接近した時点でリッキングを行うと水報酬を与え、行動による状態変化の予測を評価する課題。錐体細胞に選択的にカルシウム感受性色素GCAMP5を発現させるアデノ随伴ウイルスを頭頂連合野(PAC)および運動前野(M2)に注入し、各課題実行中の神経活動を異なる深さで計測した。音刺激とその方向、歩行、リッキングなどに相関した神経活動が記録されており、それらの特性を解析中である。
2)モデルベースとモデルフリーの意思決定の神経回路
ラットにおけるモデルベース意思決定課題として、音Aに対して左の穴のポーキングで音Bが、右のポーキングで音Cが提示されるという状態-行動-状態の遷移モデルをまず学習させ、次に音Bと報酬、音Cと無報酬を連合させた後で、音Aに対する左右の選択を行う課題のトレーニングを行った。その結果、この課題はラットにとっては困難なものであることがわかり、ラットにとって自然な状態や行動の単位は何なのかを再考する必要に迫られた。そこで、ラットの行動をより具体的に計測するため、3次元モーショントラッキング装置を導入し、その具体的な行動の時系列の記録を開始した。
また、“Decision Making”のテーマでCurrent Opinion in Neurobiologyの特集号を編集し、ラットの行動実験データの解析結果を出版した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

1)脳内シミュレーション過程の可視化
H23年度に導入した二光子顕微鏡は優れた光学系を備え、皮質深層の細胞の活動まで記録可能なことが明らかになった。ウイルス注入と光学記録のための手術手技も向上し、効率よい計測が可能になった。
2)モデルベースとモデルフリーの意思決定の神経回路
モデルベースの意思決定課題の開発において、ただ単に予測モデルを使うと有利な状況を用意するだけでは、実際のラットは必ずしもモデルベースの意思決定を行うわけではないことが明らかになった。モデルベースの意思決定の神経回路を明らかにすると同時に、モデルベースの意思決定を促す感覚、運動、環境の条件を明らかにすることが新たな研究課題として浮かび上がって来た。

Strategy for Future Research Activity

H24年度に導入した新たなスキャンミラーにより、これまでより高時間分解能での神経活動記録を行い、頭頂連合野と運動前野、またそれぞれの皮質浅層と深層との間でのダイナミクスを明らかにしていきたい。

  • Research Products

    (31 results)

All 2013 2012 Other

All Journal Article (5 results) (of which Peer Reviewed: 4 results) Presentation (23 results) (of which Invited: 9 results) Book (1 results) Remarks (2 results)

  • [Journal Article] caled free-energy based reinforcement learning for robust and efficient learning in high-dimensional state spaces2013

    • Author(s)
      Elfwing S
    • Journal Title

      Frontiers in Neurorobotics

      Volume: 7 Pages: 3

    • DOI

      10.3389/fnbot.2013.00003

    • Peer Reviewed
  • [Journal Article] Uncertainty in action-value estimation affects both action choice and learning rate of the choice behaviors of rats2012

    • Author(s)
      Funamizu A
    • Journal Title

      European Journal of Neuroscience

      Volume: 35 Pages: 1180-1189

    • DOI

      10.1111/j.1460-9568.2012.08025.x

    • Peer Reviewed
  • [Journal Article] Activation of Dorsal Raphe Serotonin Neurons Is Necessary for Waiting for Delayed Rewards2012

    • Author(s)
      Miyazaki KW
    • Journal Title

      The Journal of Neuroscience

      Volume: 32 Pages: 10451-10457

    • DOI

      10.1523/JNEUROSCI.0915-12.2012

    • Peer Reviewed
  • [Journal Article] The Role of Serotonin in the Regulation of Patience and Impulsivity2012

    • Author(s)
      Miyazaki K
    • Journal Title

      Molecular Neurobiology

      Volume: 45 Pages: 213-224

    • DOI

      10.1007/s12035-012-8232-6

    • Peer Reviewed
  • [Journal Article] Decision making2012

    • Author(s)
      Doya K
    • Journal Title

      Current Opinion in Neurobiology

      Volume: 22 Pages: 911-913

    • DOI

      10.1016/j.conb.2012.10.003

  • [Presentation] How patient can a mouse be with serotonin stimulation2013

    • Author(s)
      Doya K
    • Organizer
      Tamagwa-Caltech joint lecture course: reward and decision making on risk and aversion
    • Place of Presentation
      Hawaii,U.S.A
    • Year and Date
      2013-03-06 – 2013-03-06
  • [Presentation] Value-updating interaction among contexts in choice behaviors of rats2013

    • Author(s)
      Funamizu A, Ito M, Kanzaki R, Takahashi H
    • Organizer
      COSYNE2013
    • Place of Presentation
      Salt Lake City, U.S.A
    • Year and Date
      2013-03-01 – 2013-03-01
  • [Presentation] Investigation of neuronal activity in secondary motor cortex by two-photon microscopy2013

    • Author(s)
      Funamizu A, Kuhn B, Doya K
    • Organizer
      13th Winter Workshop on the Mechanism of Brain and Mind
    • Place of Presentation
      北海道虻田郡留寿都村
    • Year and Date
      2013-01-09 – 2013-01-11
  • [Presentation] Hierarchical representation in the striatum during a free choice task2013

    • Author(s)
      Ito M, Doya K
    • Organizer
      13th Winter Workshop on the Mechanism of Brain and Mind
    • Place of Presentation
      北海道虻田郡留寿都村
    • Year and Date
      2013-01-09 – 2013-01-11
  • [Presentation] Bayesian co-clustering analysis of resting-state MRI data: Toward elucidating the pathophisiology of depression2013

    • Author(s)
      Tokuda T, J Y, Shimizu Y, Takamura M, Yoshimura S, Okamoto Y, Yamawaki S, Doya K
    • Organizer
      13th Winter Workshop on the Mechanism of Brain and Mind
    • Place of Presentation
      北海道虻田郡留寿都村
    • Year and Date
      2013-01-09 – 2013-01-11
  • [Presentation] Bayesian co-clustering analysis of questionnaire data from normal and depressive subjects2013

    • Author(s)
      Yoshimoto J, Shimizu Y, Tokuda T, Takamura M, Yoshimura S, Okamoto Y, Yamawaki S, Doya K
    • Organizer
      13th Winter Workshop on the Mechanism of Brain and Mind
    • Place of Presentation
      北海道虻田郡留寿都村
    • Year and Date
      2013-01-09 – 2013-01-11
  • [Presentation] 強化学習理論と心の科学2012

    • Author(s)
      銅谷賢治
    • Organizer
      玉川大学グローバルCOEプログラム 公開シンポジウム
    • Place of Presentation
      玉川大学,東京都
    • Year and Date
      2012-12-16 – 2012-12-16
    • Invited
  • [Presentation] Reinforcement learning and the basal ganglia2012

    • Author(s)
      Doya K
    • Organizer
      IBRO-UNESCO
    • Place of Presentation
      Hyderabad, India
    • Year and Date
      2012-12-05 – 2012-12-21
    • Invited
  • [Presentation] Bayesian inference and model-based decision making2012

    • Author(s)
      Doya K
    • Organizer
      IBRO-UNESCO
    • Place of Presentation
      Hyderabad, India
    • Year and Date
      2012-12-05 – 2012-12-21
    • Invited
  • [Presentation] 強化学習と意思決定の脳科学2012

    • Author(s)
      銅谷賢治
    • Organizer
      Autumn School for Computational Neuroscience
    • Place of Presentation
      長野県諏訪市
    • Year and Date
      2012-11-23 – 2012-11-23
    • Invited
  • [Presentation] 意思決定、学習、合理性2012

    • Author(s)
      銅谷賢治
    • Organizer
      日本科学哲学会シンポジウム
    • Place of Presentation
      宮崎大学,宮崎県
    • Year and Date
      2012-11-10 – 2012-11-10
    • Invited
  • [Presentation] The theory of reinforcement learning and the neurobiology of decision making2012

    • Author(s)
      Doya K
    • Organizer
      Japan Neuroscience Society 2012 Symposium
    • Place of Presentation
      愛知県名古屋市
    • Year and Date
      2012-09-21 – 2012-09-21
    • Invited
  • [Presentation] Model-free and Model-based Reinforcement Learning2012

    • Author(s)
      Doya K
    • Organizer
      The 76th Annual Convention of the Japanese Psychological Association
    • Place of Presentation
      神奈川県川崎市
    • Year and Date
      2012-09-13 – 2012-09-13
  • [Presentation] 知識の表象2012

    • Author(s)
      銅谷賢治
    • Organizer
      日本認知科学会サマースクール 2012
    • Place of Presentation
      神奈川県箱根市
    • Year and Date
      2012-09-04 – 2012-09-04
  • [Presentation] Brain and reinforcement Learning2012

    • Author(s)
      Doya K
    • Organizer
      21st Machine Learning Summer School
    • Place of Presentation
      Kyoto
    • Year and Date
      2012-08-29 – 2012-08-29
  • [Presentation] Reinforcement learning and the basal ganglia2012

    • Author(s)
      Doya K
    • Organizer
      Neural Computations Supporting Cognition
    • Place of Presentation
      北海道札幌市
    • Year and Date
      2012-08-02 – 2012-08-02
  • [Presentation] Toward understanding the neural substrate of mental simulation2012

    • Author(s)
      Doya K
    • Organizer
      Joint Symposium interactive brain dynamics for decision making and communication
    • Place of Presentation
      宮城県仙台市
    • Year and Date
      2012-07-27 – 2012-07-27
  • [Presentation] Hierarchical representation in the striatum during a choice task2012

    • Author(s)
      伊藤真, 銅谷賢治
    • Organizer
      Comprehensive Brain Science Network Summer Workshop 2012
    • Place of Presentation
      宮城県仙台市
    • Year and Date
      2012-07-26 – 2012-07-28
  • [Presentation] Neural activities of rats prefrontal cortex and striatum in a free choice task with two reward conditions2012

    • Author(s)
      船水章大, 伊藤真, 銅谷賢治, 神埼亮平, 高橋宏知
    • Organizer
      Comprehensive Brain Science Network Summer Workshop 2012
    • Place of Presentation
      宮城県仙台市
    • Year and Date
      2012-07-26 – 2012-07-28
  • [Presentation] Basal ganglia, serotonin, and reward expectation2012

    • Author(s)
      Doya K
    • Organizer
      Computational and Cognitive Neurobiology Summer School
    • Place of Presentation
      Beijing, China
    • Year and Date
      2012-07-23 – 2012-07-23
    • Invited
  • [Presentation] Motor control: basal ganglia and motor control2012

    • Author(s)
      Doya K
    • Organizer
      Computational and Cognitive Neurobiology Summer School
    • Place of Presentation
      Beijing, China
    • Year and Date
      2012-07-23 – 2012-07-23
    • Invited
  • [Presentation] 運動-視覚ダイナミクス学習と線形ベルマン方程式によるロボット制御2012

    • Author(s)
      金城健, 内部英治, 吉本潤一郎, 銅谷賢治
    • Organizer
      電子情報通信学会ニューロコンピューティング研究
    • Place of Presentation
      OIST,沖縄県国頭郡恩納村
    • Year and Date
      2012-06-28 – 2012-06-28
  • [Presentation] Multiple strategies for decision making2012

    • Author(s)
      Doya K
    • Organizer
      Second Symposium on Biology of Decision Making
    • Place of Presentation
      Paris, France
    • Year and Date
      2012-05-10 – 2012-05-10
    • Invited
  • [Book] The Basal Ganglia, Reinforcement Learning and the Encoding of Value. In P. Glimcher et al. eds. Neuroeconomics: Decision-Making and the Brain, 2nd Edition2013

    • Author(s)
      Doya K
    • Total Pages
      (in press)
    • Publisher
      Elsevier
  • [Remarks] 「予測と意思決定」新学術領域webページ

    • URL

      http://www.decisions.jp

  • [Remarks] 沖縄科学技術大学院大学 神経計算ユニット

    • URL

      https://groups.oist.jp/ncu

URL: 

Published: 2018-02-02  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi