• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2014 年度 実績報告書

予測と意思決定の神経回路ダイナミクスの解明

計画研究

研究領域予測と意思決定の脳内計算機構の解明による人間理解と応用
研究課題/領域番号 23120007
研究機関沖縄科学技術大学院大学

研究代表者

銅谷 賢治  沖縄科学技術大学院大学, 神経計算ユニット, 教授 (80188846)

研究期間 (年度) 2011-04-01 – 2016-03-31
キーワード意思決定 / モデルフリー / モデルベース / 強化学習 / ベイズ推定 / 二光子顕微鏡 / 大脳基底核 / 大脳皮質
研究実績の概要

1)脳内シミュレーション過程の可視化:前進すると音源位置が接近し、音源に最接近した時点でリッキングを行うと水報酬が得られるという「聴覚仮想ナビゲーション課題」を実行中のマウスの、頭頂連合野および第2次視覚野のニューロン活動の二光子顕微鏡による記録実験を行った。
音信号を連続的に与える条件と間欠的に与える条件を設け、連続音提示条件下での音源位置に応じた各ニューロンの活動特性をまず同定し、ニューロン活動データから音源位置を推定するベイズデコーダーを構成した。その結果、連続音条件だけでなく、間欠音条件においても、頭頂葉のニューロン活動から音源位置のデコーディングが可能なことが明らかになった。このことは、頭頂葉の神経回路で自身の行動をもとに音源位置の変化を予測する内部モデルが動作していることを強く示唆している。
2)モデルベースとモデルフリーの意思決定の神経回路:意思決定における状態と行動の表現空間を明らかにするため、確率報酬による意思決定課題中のラットの運動を3次元モーショントラッキング 装置により記録しながら、線条体、運動野、前頭前野の神経活動を多電極記録した。その解析の結果、特に選択行動開始時と完了時の加速度は報酬期待値と相関し、背外側線条体の神経活動はそのタイミングでの加速度と強く相関することが明らかになった。この新たな知見とこれまでの結果は、報酬予測をもとにした行動選択には背内側線条体が、運動パラメタの制御には背外側線条体が関わることを示している。
さらに、モデルベースとモデルフリーの意思決定を区別する実験課題のラットでのトレーニングを進め、海馬および線条体での神経活動を記録するための内視鏡型超小型顕微鏡での光学神経活動記録の予備的な実験を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

1)脳内シミュレーション過程の可視化
二光子顕微鏡による神経活動記録とベイズデコーディングにより、「行動に応じた状態変化の予測」という脳内シミュレーションがマウスの頭頂葉で行われているという確証を得た。
2)モデルベースとモデルフリーの意思決定の神経回路
背内側線条体と背外側線条体が異なる行動表現により階層的な強化学習を実現することを明らかにした。

今後の研究の推進方策

「行動に応じた状態変化の予測」を行う神経回路のダイナミクスを、さらなる神経活動記録と解析により明らかにすることをめざす。

  • 研究成果

    (30件)

すべて 2015 2014 その他

すべて 雑誌論文 (9件) (うち査読あり 6件、 オープンアクセス 4件) 学会発表 (19件) (うち招待講演 8件) 備考 (2件)

  • [雑誌論文] 予測 大脳新皮質のベイジアンフィルタ仮説2015

    • 著者名/発表者名
      船水章大, 銅谷賢治
    • 雑誌名

      生体の科学

      巻: 66 ページ: 33-37

  • [雑誌論文] 報酬のための辛抱強さを調節するセロトニンの役割2015

    • 著者名/発表者名
      宮崎佳代子, 宮崎勝彦, 銅谷賢治
    • 雑誌名

      生体の科学

      巻: 66 ページ: 38-43

  • [雑誌論文] Condition interference in rats performing a choice task with switched variable- and fixed-reward conditions.2015

    • 著者名/発表者名
      Funamizu A., Ito M., Doya K., Kanzaki R.,Takahashi H.
    • 雑誌名

      Frontiers in Neuroscience

      巻: 9 ページ: 27

    • DOI

      10.3389/fnins.2015.00027

    • 査読あり
  • [雑誌論文] Distinct Neural Representation in the Dorsolateral, Dorsomedial, and Ventral Parts of the Striatum during Fixed- and Free-Choice Tasks2015

    • 著者名/発表者名
      Ito M., Doya K.
    • 雑誌名

      Journal of Neuroscience

      巻: 35 ページ: 3499-3514

    • DOI

      10.1523/JNEUROSCI.1962-14.2015

    • 査読あり
  • [雑誌論文] A Spiking Neural Network Model of Model-Free Reinforcement Learning with High-Dimensional Sensory Input and Perceptual Ambiguity2015

    • 著者名/発表者名
      Nakano T., Otsuka M., Yoshimoto J., Doya K.
    • 雑誌名

      Plos one

      巻: 10 ページ: e0115620

    • DOI

      10.1371/journal.pone.0115620

    • 査読あり / オープンアクセス
  • [雑誌論文] Emergence of Polymorphic Mating Strategies in Robot Colonies2014

    • 著者名/発表者名
      Elfwing S., Doya K.
    • 雑誌名

      Plos One

      巻: 9 ページ: e93622

    • DOI

      10.1371/journal.pone.0093622

    • 査読あり / オープンアクセス
  • [雑誌論文] Optogenetic Activation of Dorsal Raphe Serotonin Neurons Enhances Patience for Future Rewards2014

    • 著者名/発表者名
      Miyzaki W. Kayoko, Miyazaki Katsuhiko, Tanaka F. Kenji, Yamanaka A., Takahashi A., Tabuchi S., Doya K.
    • 雑誌名

      Current Biology

      巻: 24 ページ: 2033-2040

    • DOI

      10.1016/j.cub.2014.07.041

    • 査読あり / オープンアクセス
  • [雑誌論文] うつ病の脳内メカニズム-Functional MRIを用いた検討2014

    • 著者名/発表者名
      岡田剛, 岡本泰昌, 志士田一宏, 上田一貴, 小野田慶一, 国里愛彦, 田中沙織, 銅谷賢治, 山脇成人
    • 雑誌名

      精神神経学会雑誌

      巻: 116 ページ: 825-831

  • [雑誌論文] Expected energy-based restricted Boltzmann machine for classification2014

    • 著者名/発表者名
      Elfwing S.,Uchibe E., Doya K.
    • 雑誌名

      Neural Networks

      巻: 64 ページ: 29-38

    • DOI

      10.1016/j.neunet.2014.09.006

    • 査読あり / オープンアクセス
  • [学会発表] 辛抱強さとセロトニン2015

    • 著者名/発表者名
      宮崎勝彦
    • 学会等名
      第92回日本生理学会大会
    • 発表場所
      神戸国際会議場
    • 年月日
      2015-03-23 – 2015-03-23
    • 招待講演
  • [学会発表] A Kinetic Signal Transduction Model for Structural Plasticity of Striatal Medium Spiny Neurons2015

    • 著者名/発表者名
      Yukinawa N., Doya K., Yoshimoto J.
    • 学会等名
      The third annual Winter q-biio meeting
    • 発表場所
      Maui, Hawaii, USA
    • 年月日
      2015-02-17 – 2015-02-20
  • [学会発表] ロボティクス、機械学習と脳科学2015

    • 著者名/発表者名
      銅谷賢治
    • 学会等名
      沖縄総合事務局 第4回全国組込み産業フォーラム・地域連携セミナー
    • 発表場所
      那覇市,沖縄県
    • 年月日
      2015-02-13 – 2015-02-13
    • 招待講演
  • [学会発表] 強化学習の脳機構:大脳基底核とドーパミン・セロトニンの役割2014

    • 著者名/発表者名
      銅谷賢治
    • 学会等名
      第19回情動・社会行動と精神医学研究会
    • 発表場所
      京都大学芝蘭会館
    • 年月日
      2014-12-19 – 2014-12-19
    • 招待講演
  • [学会発表] Machine learning and brain science2014

    • 著者名/発表者名
      Doya K.
    • 学会等名
      14th International conference on Intelligent Systems Design and Applications (ISDA2014)
    • 発表場所
      OIST Seaside House
    • 年月日
      2014-11-27 – 2014-11-27
    • 招待講演
  • [学会発表] Promotion of patience by dorsal raphe serotonin neuron activation depends on the certainty of future rewards2014

    • 著者名/発表者名
      Miyazaki Katsuhiko, Miyazaki Kayoko, Tanaka W., Yamanaka K., Takahashi.A., Doya K.
    • 学会等名
      44th Annual Meeting of the Society for Neuroscience(SFN2014)
    • 発表場所
      Washington, D.C USA
    • 年月日
      2014-11-16 – 2014-11-16
  • [学会発表] Action-dependent state prediction in the parietal cortex of mouse during a virtual navigation task2014

    • 著者名/発表者名
      Funamizu A., Kuhn B., Doya K.
    • 学会等名
      44th Annual Meeting of the Society for Neuroscience(SFN2014)
    • 発表場所
      Washington, D.C USA
    • 年月日
      2014-11-15 – 2014-11-19
  • [学会発表] Selective activation of columnar neural population by lateral inhibition in a realistic model of primary motor cortex2014

    • 著者名/発表者名
      Igarashi J., Moren J., Yoshimoto J., Doya K.
    • 学会等名
      44th Annual Meeting of the Society for Neuroscience(SFN2014)
    • 発表場所
      Washington, D.C USA
    • 年月日
      2014-11-15 – 2014-11-15
  • [学会発表] 観測と制御の双対性と脳アーキテクチャー2014

    • 著者名/発表者名
      銅谷賢治
    • 学会等名
      第57回自動制御連合講演会
    • 発表場所
      天坊ホテル(群馬県伊香保)
    • 年月日
      2014-11-11 – 2014-11-11
    • 招待講演
  • [学会発表] Obtaining reward functions of rats using inverse reinforcement learning2014

    • 著者名/発表者名
      Sezener C.E., Uchibe E., Doya K.
    • 学会等名
      Turkish Autonomous Robots Conference
    • 発表場所
      Ankara, Turkey
    • 年月日
      2014-11-06 – 2014-11-07
  • [学会発表] ロボットと脳の強化学習2014

    • 著者名/発表者名
      銅谷賢治
    • 学会等名
      第 160回 ヒューマンコンピュータインタラクション研究会
    • 発表場所
      OISTシーサイドハウス
    • 年月日
      2014-10-14 – 2014-10-14
    • 招待講演
  • [学会発表] Toward the neurophysiology of mental simulation2014

    • 著者名/発表者名
      Doya K.
    • 学会等名
      17th World Congress of Psychophysiology (IOP2014)
    • 発表場所
      International Conference Center Hiroshima
    • 年月日
      2014-09-24 – 2014-09-24
    • 招待講演
  • [学会発表] 機械学習と脳科学2014

    • 著者名/発表者名
      銅谷賢治
    • 学会等名
      第24回インテリジェント・システム・シンポジウムFAN2014
    • 発表場所
      北見工業大学,北海道
    • 年月日
      2014-09-18 – 2014-09-19
    • 招待講演
  • [学会発表] 一次運動皮質モデルの水平結合による出力選択2014

    • 著者名/発表者名
      五十嵐潤, モレンヤン, 吉本潤一郎, 銅谷賢治
    • 学会等名
      Neuroscience 2014
    • 発表場所
      パシフィコ横浜
    • 年月日
      2014-09-13 – 2014-09-13
  • [学会発表] Dissociation of working memory-based and value-based strategies in a free-choice task2014

    • 著者名/発表者名
      Ito M.
    • 学会等名
      Neuroscience 2014
    • 発表場所
      パシフィコ横浜
    • 年月日
      2014-09-12 – 2014-09-12
  • [学会発表] 二光子顕微鏡法によるマウス頭頂葉の行動依存的な状態予測の解明/Investigation of action-dependent state prediction in the mouse parietal cortex with two-photon microscopy2014

    • 著者名/発表者名
      Funamizu A.
    • 学会等名
      Neuroscience 2014
    • 発表場所
      パシフィコ横浜
    • 年月日
      2014-09-12 – 2014-09-12
  • [学会発表] Neural representation of task-level and motor information in the cortico-basal ganglia loops2014

    • 著者名/発表者名
      Yoshizawa T., Ito M., Doya K.
    • 学会等名
      Neuroscience 2014
    • 発表場所
      パシフィコ横浜
    • 年月日
      2014-09-11 – 2014-09-11
  • [学会発表] 密度比推定を用いた逆強化学習法2014

    • 著者名/発表者名
      内部英治, 銅谷賢治
    • 学会等名
      第32回日本ロボット学会学術講演会
    • 発表場所
      パシフィコ横浜
    • 年月日
      2014-09-04 – 2014-09-06
  • [学会発表] Combining learned controllers to achieve new goals based on linearly solvable MDPs2014

    • 著者名/発表者名
      Uchibe E. Doya K
    • 学会等名
      IEEE International Conference on Robotics and Automation
    • 発表場所
      Hong Kong
    • 年月日
      2014-05-31 – 2014-06-07
  • [備考] 「予測と意思決定」新学術領域webページ

    • URL

      http://www.decisions.jp

  • [備考] 沖縄科学技術大学院大学 神経計算ユ二ット

    • URL

      https://groups.oist.jp/ncu

URL: 

公開日: 2016-06-01  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi