• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2014 Fiscal Year Annual Research Report

予測と意思決定の神経回路ダイナミクスの解明

Planned Research

Project AreaElucidation of neural computation for prediction and decision making: toward better human understanding and applications
Project/Area Number 23120007
Research InstitutionOkinawa Institute of Science and Technology Graduate University

Principal Investigator

銅谷 賢治  沖縄科学技術大学院大学, 神経計算ユニット, 教授 (80188846)

Project Period (FY) 2011-04-01 – 2016-03-31
Keywords意思決定 / モデルフリー / モデルベース / 強化学習 / ベイズ推定 / 二光子顕微鏡 / 大脳基底核 / 大脳皮質
Outline of Annual Research Achievements

1)脳内シミュレーション過程の可視化:前進すると音源位置が接近し、音源に最接近した時点でリッキングを行うと水報酬が得られるという「聴覚仮想ナビゲーション課題」を実行中のマウスの、頭頂連合野および第2次視覚野のニューロン活動の二光子顕微鏡による記録実験を行った。
音信号を連続的に与える条件と間欠的に与える条件を設け、連続音提示条件下での音源位置に応じた各ニューロンの活動特性をまず同定し、ニューロン活動データから音源位置を推定するベイズデコーダーを構成した。その結果、連続音条件だけでなく、間欠音条件においても、頭頂葉のニューロン活動から音源位置のデコーディングが可能なことが明らかになった。このことは、頭頂葉の神経回路で自身の行動をもとに音源位置の変化を予測する内部モデルが動作していることを強く示唆している。
2)モデルベースとモデルフリーの意思決定の神経回路:意思決定における状態と行動の表現空間を明らかにするため、確率報酬による意思決定課題中のラットの運動を3次元モーショントラッキング 装置により記録しながら、線条体、運動野、前頭前野の神経活動を多電極記録した。その解析の結果、特に選択行動開始時と完了時の加速度は報酬期待値と相関し、背外側線条体の神経活動はそのタイミングでの加速度と強く相関することが明らかになった。この新たな知見とこれまでの結果は、報酬予測をもとにした行動選択には背内側線条体が、運動パラメタの制御には背外側線条体が関わることを示している。
さらに、モデルベースとモデルフリーの意思決定を区別する実験課題のラットでのトレーニングを進め、海馬および線条体での神経活動を記録するための内視鏡型超小型顕微鏡での光学神経活動記録の予備的な実験を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

1)脳内シミュレーション過程の可視化
二光子顕微鏡による神経活動記録とベイズデコーディングにより、「行動に応じた状態変化の予測」という脳内シミュレーションがマウスの頭頂葉で行われているという確証を得た。
2)モデルベースとモデルフリーの意思決定の神経回路
背内側線条体と背外側線条体が異なる行動表現により階層的な強化学習を実現することを明らかにした。

Strategy for Future Research Activity

「行動に応じた状態変化の予測」を行う神経回路のダイナミクスを、さらなる神経活動記録と解析により明らかにすることをめざす。

  • Research Products

    (30 results)

All 2015 2014 Other

All Journal Article (9 results) (of which Peer Reviewed: 6 results,  Open Access: 4 results) Presentation (19 results) (of which Invited: 8 results) Remarks (2 results)

  • [Journal Article] 予測 大脳新皮質のベイジアンフィルタ仮説2015

    • Author(s)
      船水章大, 銅谷賢治
    • Journal Title

      生体の科学

      Volume: 66 Pages: 33-37

  • [Journal Article] 報酬のための辛抱強さを調節するセロトニンの役割2015

    • Author(s)
      宮崎佳代子, 宮崎勝彦, 銅谷賢治
    • Journal Title

      生体の科学

      Volume: 66 Pages: 38-43

  • [Journal Article] Condition interference in rats performing a choice task with switched variable- and fixed-reward conditions.2015

    • Author(s)
      Funamizu A., Ito M., Doya K., Kanzaki R.,Takahashi H.
    • Journal Title

      Frontiers in Neuroscience

      Volume: 9 Pages: 27

    • DOI

      10.3389/fnins.2015.00027

    • Peer Reviewed
  • [Journal Article] Distinct Neural Representation in the Dorsolateral, Dorsomedial, and Ventral Parts of the Striatum during Fixed- and Free-Choice Tasks2015

    • Author(s)
      Ito M., Doya K.
    • Journal Title

      Journal of Neuroscience

      Volume: 35 Pages: 3499-3514

    • DOI

      10.1523/JNEUROSCI.1962-14.2015

    • Peer Reviewed
  • [Journal Article] A Spiking Neural Network Model of Model-Free Reinforcement Learning with High-Dimensional Sensory Input and Perceptual Ambiguity2015

    • Author(s)
      Nakano T., Otsuka M., Yoshimoto J., Doya K.
    • Journal Title

      Plos one

      Volume: 10 Pages: e0115620

    • DOI

      10.1371/journal.pone.0115620

    • Peer Reviewed / Open Access
  • [Journal Article] Emergence of Polymorphic Mating Strategies in Robot Colonies2014

    • Author(s)
      Elfwing S., Doya K.
    • Journal Title

      Plos One

      Volume: 9 Pages: e93622

    • DOI

      10.1371/journal.pone.0093622

    • Peer Reviewed / Open Access
  • [Journal Article] Optogenetic Activation of Dorsal Raphe Serotonin Neurons Enhances Patience for Future Rewards2014

    • Author(s)
      Miyzaki W. Kayoko, Miyazaki Katsuhiko, Tanaka F. Kenji, Yamanaka A., Takahashi A., Tabuchi S., Doya K.
    • Journal Title

      Current Biology

      Volume: 24 Pages: 2033-2040

    • DOI

      10.1016/j.cub.2014.07.041

    • Peer Reviewed / Open Access
  • [Journal Article] うつ病の脳内メカニズム-Functional MRIを用いた検討2014

    • Author(s)
      岡田剛, 岡本泰昌, 志士田一宏, 上田一貴, 小野田慶一, 国里愛彦, 田中沙織, 銅谷賢治, 山脇成人
    • Journal Title

      精神神経学会雑誌

      Volume: 116 Pages: 825-831

  • [Journal Article] Expected energy-based restricted Boltzmann machine for classification2014

    • Author(s)
      Elfwing S.,Uchibe E., Doya K.
    • Journal Title

      Neural Networks

      Volume: 64 Pages: 29-38

    • DOI

      10.1016/j.neunet.2014.09.006

    • Peer Reviewed / Open Access
  • [Presentation] 辛抱強さとセロトニン2015

    • Author(s)
      宮崎勝彦
    • Organizer
      第92回日本生理学会大会
    • Place of Presentation
      神戸国際会議場
    • Year and Date
      2015-03-23 – 2015-03-23
    • Invited
  • [Presentation] A Kinetic Signal Transduction Model for Structural Plasticity of Striatal Medium Spiny Neurons2015

    • Author(s)
      Yukinawa N., Doya K., Yoshimoto J.
    • Organizer
      The third annual Winter q-biio meeting
    • Place of Presentation
      Maui, Hawaii, USA
    • Year and Date
      2015-02-17 – 2015-02-20
  • [Presentation] ロボティクス、機械学習と脳科学2015

    • Author(s)
      銅谷賢治
    • Organizer
      沖縄総合事務局 第4回全国組込み産業フォーラム・地域連携セミナー
    • Place of Presentation
      那覇市,沖縄県
    • Year and Date
      2015-02-13 – 2015-02-13
    • Invited
  • [Presentation] 強化学習の脳機構:大脳基底核とドーパミン・セロトニンの役割2014

    • Author(s)
      銅谷賢治
    • Organizer
      第19回情動・社会行動と精神医学研究会
    • Place of Presentation
      京都大学芝蘭会館
    • Year and Date
      2014-12-19 – 2014-12-19
    • Invited
  • [Presentation] Machine learning and brain science2014

    • Author(s)
      Doya K.
    • Organizer
      14th International conference on Intelligent Systems Design and Applications (ISDA2014)
    • Place of Presentation
      OIST Seaside House
    • Year and Date
      2014-11-27 – 2014-11-27
    • Invited
  • [Presentation] Promotion of patience by dorsal raphe serotonin neuron activation depends on the certainty of future rewards2014

    • Author(s)
      Miyazaki Katsuhiko, Miyazaki Kayoko, Tanaka W., Yamanaka K., Takahashi.A., Doya K.
    • Organizer
      44th Annual Meeting of the Society for Neuroscience(SFN2014)
    • Place of Presentation
      Washington, D.C USA
    • Year and Date
      2014-11-16 – 2014-11-16
  • [Presentation] Action-dependent state prediction in the parietal cortex of mouse during a virtual navigation task2014

    • Author(s)
      Funamizu A., Kuhn B., Doya K.
    • Organizer
      44th Annual Meeting of the Society for Neuroscience(SFN2014)
    • Place of Presentation
      Washington, D.C USA
    • Year and Date
      2014-11-15 – 2014-11-19
  • [Presentation] Selective activation of columnar neural population by lateral inhibition in a realistic model of primary motor cortex2014

    • Author(s)
      Igarashi J., Moren J., Yoshimoto J., Doya K.
    • Organizer
      44th Annual Meeting of the Society for Neuroscience(SFN2014)
    • Place of Presentation
      Washington, D.C USA
    • Year and Date
      2014-11-15 – 2014-11-15
  • [Presentation] 観測と制御の双対性と脳アーキテクチャー2014

    • Author(s)
      銅谷賢治
    • Organizer
      第57回自動制御連合講演会
    • Place of Presentation
      天坊ホテル(群馬県伊香保)
    • Year and Date
      2014-11-11 – 2014-11-11
    • Invited
  • [Presentation] Obtaining reward functions of rats using inverse reinforcement learning2014

    • Author(s)
      Sezener C.E., Uchibe E., Doya K.
    • Organizer
      Turkish Autonomous Robots Conference
    • Place of Presentation
      Ankara, Turkey
    • Year and Date
      2014-11-06 – 2014-11-07
  • [Presentation] ロボットと脳の強化学習2014

    • Author(s)
      銅谷賢治
    • Organizer
      第 160回 ヒューマンコンピュータインタラクション研究会
    • Place of Presentation
      OISTシーサイドハウス
    • Year and Date
      2014-10-14 – 2014-10-14
    • Invited
  • [Presentation] Toward the neurophysiology of mental simulation2014

    • Author(s)
      Doya K.
    • Organizer
      17th World Congress of Psychophysiology (IOP2014)
    • Place of Presentation
      International Conference Center Hiroshima
    • Year and Date
      2014-09-24 – 2014-09-24
    • Invited
  • [Presentation] 機械学習と脳科学2014

    • Author(s)
      銅谷賢治
    • Organizer
      第24回インテリジェント・システム・シンポジウムFAN2014
    • Place of Presentation
      北見工業大学,北海道
    • Year and Date
      2014-09-18 – 2014-09-19
    • Invited
  • [Presentation] 一次運動皮質モデルの水平結合による出力選択2014

    • Author(s)
      五十嵐潤, モレンヤン, 吉本潤一郎, 銅谷賢治
    • Organizer
      Neuroscience 2014
    • Place of Presentation
      パシフィコ横浜
    • Year and Date
      2014-09-13 – 2014-09-13
  • [Presentation] Dissociation of working memory-based and value-based strategies in a free-choice task2014

    • Author(s)
      Ito M.
    • Organizer
      Neuroscience 2014
    • Place of Presentation
      パシフィコ横浜
    • Year and Date
      2014-09-12 – 2014-09-12
  • [Presentation] 二光子顕微鏡法によるマウス頭頂葉の行動依存的な状態予測の解明/Investigation of action-dependent state prediction in the mouse parietal cortex with two-photon microscopy2014

    • Author(s)
      Funamizu A.
    • Organizer
      Neuroscience 2014
    • Place of Presentation
      パシフィコ横浜
    • Year and Date
      2014-09-12 – 2014-09-12
  • [Presentation] Neural representation of task-level and motor information in the cortico-basal ganglia loops2014

    • Author(s)
      Yoshizawa T., Ito M., Doya K.
    • Organizer
      Neuroscience 2014
    • Place of Presentation
      パシフィコ横浜
    • Year and Date
      2014-09-11 – 2014-09-11
  • [Presentation] 密度比推定を用いた逆強化学習法2014

    • Author(s)
      内部英治, 銅谷賢治
    • Organizer
      第32回日本ロボット学会学術講演会
    • Place of Presentation
      パシフィコ横浜
    • Year and Date
      2014-09-04 – 2014-09-06
  • [Presentation] Combining learned controllers to achieve new goals based on linearly solvable MDPs2014

    • Author(s)
      Uchibe E. Doya K
    • Organizer
      IEEE International Conference on Robotics and Automation
    • Place of Presentation
      Hong Kong
    • Year and Date
      2014-05-31 – 2014-06-07
  • [Remarks] 「予測と意思決定」新学術領域webページ

    • URL

      http://www.decisions.jp

  • [Remarks] 沖縄科学技術大学院大学 神経計算ユ二ット

    • URL

      https://groups.oist.jp/ncu

URL: 

Published: 2016-06-01  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi