意思決定のための価値の生成と統合の脳機能：数理モデル提案と実証検証

• Project Area: Elucidation of neural computation for prediction and decision making: toward better human understanding and applications
• Project/Area Number: 24120523
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: The Institute of Physical and Chemical Research
• Principal Investigator: 中原 裕之 独立行政法人理化学研究所, 脳科学総合研究センター, チームリーダー (10312282)
• Project Period (FY): 2012-04-01 – 2014-03-31
• Project Status: Completed (Fiscal Year 2013)
• Budget Amount: ¥11,310,000 (Direct Cost: ¥8,700,000、Indirect Cost: ¥2,610,000); Fiscal Year 2013: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000); Fiscal Year 2012: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
• Keywords: 意思決定 / 強化学習 / 神経科学 / 価値 / 経済学

Research Abstract

本研究の目的は、「意思決定のための価値の生成と統合の脳機能」の解明にある。その目的のために、数理モデル提案と実験検証を合わせて行うことに留意して研究を進めた。この目的は大別して二つの研究からなる。1つめの研究では、価値の「学習」、特に「価値予測を形成する脳内入力の表現学習」と価値学習の関係に焦点をあてている。ここでは、ドーパミン神経細胞活動を題材に、いわば従来想定の“直観的、習慣的なモデルフリーの脳機構”を置き換え、真のモデルフリーの脳機構として「表現学習（価値学習を行うための脳内表現自体の学習）と統合されたモデルフリーの学習」の提案／検証を行う。この着想自体が国際的にもユニークだと自負している。実際、この構想をまとめ、かつ将来の研究の方向を提案したオピニオン論文の出版は、本年度の大きな成果だと考えている。もう１つの方向の研究は、価値に基づく「行動選択」、特に「複数の価値統合による行動選択」に焦点を当てている。ここでは、異なる起因で生成された複数の価値統合に基づく行動選択の脳機能の解明を目指していた。具体的には、異なる起因で生成された複数の価値がそれぞれ脳内のどこで処理されるか、そしてそれらの複数の価値のいわば「足し算」すなわち統合がどこで処理されるかの解明を目指して、ヒトfMRI実験を開始した。実験課題は、もともとの報酬に加えて「ボーナス」という異なる起因で価値が生成される試行を用意して、そこでの価値意思決定を調べる課題を行った。脳の情報処理についてより深く解析できるモデル化解析手法を適用することで、価値統合過程の脳情報処理を明らかにできるよう研究を進めた。これらの予備的な成果は複数の学会で発表を行うことができた。高い評価を得たという手ごたえを得ている。現在、学術論文執筆に向けて、より徹底した実験データ取得とそのデータ解析を進めているところである。

Current Status of Research Progress

Reason

25年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

25年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Multiplexing signals in reinforcement learning with internal models and dopamine. (2014)
  • Author(s): Hiroyuki Nakahara
  • Journal Title: Current Opinion in Neurobiology Volume: 25 Pages: 123-129
  • DOI: 10.1016/j.conb.2014.01.001
  • Peer Reviewed
• [Journal Article] Learning to represent reward structure: A key to ad apting to complex environments. (2012)
  • Author(s): Nakahara H
  • Journal Title: Neuroscience Research Volume: 74(3-4) Issue: 3-4 Pages: 177-183
  • DOI: 10.1016/j.neures.2012.09.007
  • Peer Reviewed
• [Journal Article] Differential reward coding in the subdivisions of the primate caudate during an oculomotor task (2012)
  • Author(s): Nakamura, K., Santos, G., Matsuzaki, R., and Nakahara, H.
  • Journal Title: Journal of Neuroscience Volume: 32 Issue: 45 Pages: 1518-1512
  • DOI: 10.1523/jneurosci.1518-12.2012
  • Peer Reviewed
• [Presentation] Toward a computational theory of mind: decision-making and neural coding. (2014)
  • Author(s): Nakahara Hiroyuki.
  • Organizer: The 14th Winter Workshop on Mechanism of Brain and Mind "Future perspectives of computational brain science"
  • Place of Presentation: 日本, 北海道
  • Invited
• [Presentation] Primitives for learning to predict the mind of others structures. (2013)
  • Author(s): Nakahara Hiroyuki.
  • Organizer: International symposium “Prediction and Decision Making,”
  • Place of Presentation: 日本, 京都
  • Invited
• [Presentation] Neural motifs of higher-order interactions: Signature of latent structures. (2013)
  • Author(s): Nakahara Hiroyuki.
  • Organizer: Workshop “Modeling Neural Activity: Statistics, Dynamical Systems, and Networks,”
  • Place of Presentation: Hawaii, USA.
  • Invited
• [Presentation] How does the knowledge of consequences on others' outcome affect one's own valuse-based decision? (2013)
  • Author(s): Fukuda Haruaki, Suzuki Shinsuke, Ueno Kenichi, Gardner Justin L, Ichinohe Noritaka, Haruno Masahiko, Cheng Kang, Nakahara Hiroyuki.
  • Organizer: The 43rd Annual Meeting of the Society for Neuroscience
  • Place of Presentation: San Diego, USA.
• [Presentation] Expectation and influrence of others' outcomes in decision making for one's own outcome. (2013)
  • Author(s): Fukuda Haruaki, Suzuki Shinsuke, Ueno Kenichi, Gardner Justin L, Ichinohe Noritaka, Haruno Masahiko, Cheng Kang, Nakahara Hiroyuki.
  • Organizer: 第36回日本神経科学大会、第56回日本神経化学会大会、第23回日本神経回路学会大会
  • Place of Presentation: 日本, 京都
• [Presentation] Neural mechanisms for inferring others' preferences in decision making. (2013)
  • Author(s): Harasawa Norihiro, Nakatani Hironori, Suzuki Shinsuke, Ueno Kenichi, Gardner Justin L, Ichinohe Noritaka, Haruno Masahiko, Cheng Kang, Nakahara Hiroyuki.
  • Organizer: 第36回日本神経科学大会、第56回日本神経化学会大会、第23回日本神経回路学会大会
  • Place of Presentation: 日本, 京都
• [Presentation] Distinctive neural representations induce respective behavior and dopaminergic activity of sign-and goal-tracking rats. (2013)
  • Author(s): Kaveri Sivaramakrishnan Ramanujam, Nakahara Hiroyuki.
  • Organizer: 第36回日本神経科学大会、第56回日本神経化学会大会、第23回日本神経回路学会大会
  • Place of Presentation: 日本, 京都
• [Presentation] Reward structure information in dopamine activity. (2013)
  • Author(s): Nakahara H
  • Organizer: Tamagawa-Caltech Joint Lecture Course, Reward and Decision-making on Risk and Aversion
  • Place of Presentation: Hawaii, USA
  • Invited
• [Presentation] Sign-tracking and goal-tracking by a reinforcement learning model. (2012)
  • Author(s): Kaveri SR
  • Organizer: The 42nd Annual Meeting of the Society for Neuroscience
  • Place of Presentation: New Orleans, LA, USA
• [Remarks] 研究室HP
  • URL: http://www.itn.brain.riken.jp/publications_recentactivity.html