Exploring mental time using theoretical frameworks for conditionings with delays

• Project Area: The Science of Mental Time: investigation into the past, present, and future
• Project/Area Number: 16H01516
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Tamagawa University
• Principal Investigator: 酒井 裕 玉川大学, 脳科学研究所, 教授 (70323376)
• Project Period (FY): 2016-04-01 – 2018-03-31
• Project Status: Completed (Fiscal Year 2017)
• Budget Amount: ¥7,800,000 (Direct Cost: ¥6,000,000、Indirect Cost: ¥1,800,000); Fiscal Year 2017: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2016: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
• Keywords: 強化学習 / 条件づけ / 実験系心理学 / 機械学習 / 神経科学 / 遅延条件づけ

Outline of Annual Research Achievements

遅延時間をおいて与える報酬によって行う条件づけは、多種の動物で可能であり、内的な時間の表現や報酬の価値づけとの関係を探り、共通の土台で異種間比較するために有用な方法である。本研究課題では、経過時間を内的にどのように表現しているのかを探るための枠組を構築することを目標として、その糸口となりうる興味深い条件づけの知見に注目した。近年、光と音にそれぞれ異なる時間間隔を条件づけした後、光と音の複合刺激を与えると、その中間にあたる時間で反応が起こる現象が見つかった。経過時間は脳内の状態として表現され、それに応じて反応している、と考えると、各々の時間帯で反応が起こるはずで、観測された現象と矛盾する。本研究では、この矛盾を解消する理論的枠組を構築した。まずパブロフ型条件づけのモデルとして確立しているレスコーラ・ワグナーモデルに注目した。レスコーラ・ワグナーモデルの特徴は、複合刺激の場合に条件づけの効果がそれぞれの線形和とする仮定にある。この要素を、研究代表者が本領域の公募研究の前半に整備してきた連続時間の強化学習の枠組に融合した。その上で、異なる時間間隔を条件づけした光と音の複合刺激に対する反応を再現するためには、経過時間や内部状態、反応の仕方や価値を、どのように表現することが必要であるか、レスコーラ・ワグナーモデルの線形和の要素をどの表現に適用するべきか、理論的に導出した。その結果、感覚刺激が得られた時点で、どのぐらいの時間が経った後に反応するのかを選択しているとすれば、先行研究で見つかっている現象を再現することがわかった。この仮説を検証するための行動実験課題を設計し、現実的な試行数で仮説検証できるような課題パラメータ探索を行った。

Research Progress Status

29年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

29年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Distinct Laterality in Forelimb-Movement Representations of Rat Primary and Secondary Motor Cortical Neurons with Intratelencephalic and Pyramidal Tract Projections (2017)
  • Author(s): Soma Shogo、Saiki Akiko、Yoshida Junichi、Rios Alain、Kawabata Masanori、Sakai Yutaka、Isomura Yoshikazu
  • Journal Title: The Journal of Neuroscience Volume: 37 Issue: 45 Pages: 10904-10916
  • DOI: 10.1523/jneurosci.1188-17.2017
  • Peer Reviewed
• [Journal Article] In Vivo Spiking Dynamics of Intra- and Extratelencephalic Projection Neurons in Rat Motor Cortex. (2017)
  • Author(s): Saiki A, Sakai Y, Fukabori R, Soma S, Yoshida J, Kawabata M, Yawo H, Kobayashi K, Kimura M, Isomura Y.
  • Journal Title: Cereb Cortex. Volume: 印刷中 Issue: 3 Pages: 1-15
  • DOI: 10.1093/cercor/bhx012
  • Peer Reviewed
• [Journal Article] A balanced motor primitive framework can simultaneously explain motor learning in unimanual and bimanual movements (2017)
  • Author(s): Takiyama K, Sakai Y
  • Journal Title: Neural Networks Volume: 86 Pages: 80-89
  • DOI: 10.1016/j.neunet.2016.10.013
  • Peer Reviewed / Open Access
• [Journal Article] Large-scale analysis reveals populational contributions of cortical spike rate and synchrony to behavioural functions (2017)
  • Author(s): Kimura R, Saiki A, Fujiwara-Tsukamoto Y, Sakai Y, Isomura Y
  • Journal Title: Journal of Physiology Volume: 595 Issue: 1 Pages: 385-413
  • DOI: 10.1113/jp272794
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Presentation] Computational model of Obsessive-Compulsive Disorder (OCD) (2017)
  • Author(s): Yutaka Sakai, Yuki Sakai & Saori C Tanaka
  • Organizer: The 40th Annual Meeting of the Japan Neuroscience Society
• [Presentation] Defect of prospective and retrospective time scales in reinforcement learning behind Obsessive Compulsive Disorder (2017)
  • Author(s): Yutaka Sakai
  • Organizer: The 2nd International Symposium on the Science of Mental Time
  • Int'l Joint Research
• [Presentation] 過去・現在・未来をつなぐ学習のメカニズム (2017)
  • Author(s): 酒井 裕
  • Organizer: 次世代脳2017年度 冬のシンポジウム
  • Invited
• [Presentation] A model-based reinforcement learning model using Rescorla-Wagner principle reproduces Pavlovian-to-Instrumental Transfer (2016)
  • Author(s): Okitsu K, Sakai Y
  • Organizer: The 47th Annual Meeting of the Society for Neuroscience
  • Place of Presentation: San Diego, CA, USA
  • Year and Date: 2016-11-12
  • Int'l Joint Research
• [Remarks] 酒井裕研究室
  • URL: http://www.tamagawa.jp/graduate/brain/staff/labs/sakai.html
• [Remarks] Laboratory for Neural Computation (Sakai Lab.)
  • URL: http://tamagawa.brainsci.net/sakai/
• [Remarks] Laboratory for Neural Computation
  • URL: http://spike.lab.tamagawa.ac.jp/