感覚予測と報酬予測を統合するメタ学習機構：計算論的理解と脳内基盤の解明

• Project Area: Correspondence and Fusion of Artificial Intelligence and Brain Science
• Project/Area Number: 19H04977
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: University of Tsukuba
• Principal Investigator: 井澤 淳 筑波大学, システム情報系, 准教授 (20582349)
• Project Period (FY): 2019-04-01 – 2021-03-31
• Project Status: Completed (Fiscal Year 2020)
• Budget Amount: ¥11,440,000 (Direct Cost: ¥8,800,000、Indirect Cost: ¥2,640,000); Fiscal Year 2020: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000); Fiscal Year 2019: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
• Keywords: 運動学習 / 計算論的運動制御 / 計算論的神経科学 / 強化学習 / メタ学習 / 運動制御

Outline of Research at the Start

メタ学習機構に着目し，運動学習における強化学習と順モデル学習の相互作用の脳内基盤を，計算論に基づいた運動学習実験と脳機能イメージングを用いて明らかにする．具体的には、以下の点を明らかにする．
1: 運動学習スピードのメタ学習における報酬の役割を計算論と行動実験により明らかにする．
2: 運動学習スピードのメタ学習に関わる脳内責任部位をfMRI実験により特定する．
3: 報酬による運動学習に関わる探索ノイズパラメータ調整に関わる脳内ネットワークをfMRI実験により特定する．

Outline of Annual Research Achievements

近年の人工知能研究では，新しい環境やタスクに直面しても素早い学習を可能にするための「メタ学習（学習のための学習）」の開発が注目を集めている．これら論文の序論では，ヒトの持つ高いメタ学習能力を模倣することによって人工知能のメタ学習を実現する研究戦略が記されているが，実際にはメタ学習の脳内基盤は十分には明らかになっていない．特に，運動学習においては，環境の統計的性質や情動が学習スピードを向上させる現象が報告されている．しかし，これら現象を統一的に説明する運動学習における「メタ学習」の計算原理と脳内基盤は全く明らかになっていない．
本研究の目的はヒトが環境やタスクに応じて適応的に学習パラメータ（学習スピードや探索ノイズ）を調整する脳内メカニズムを，人工知能分野で開発が進んでいるメタ学習機構との対照を通じて，数理モデルの構築，行動実験、脳機能イメージングから多角的に解明することを目的とする．．本研究では，記憶の更新量に応じて報酬を制御する新しい運動メタ学習実験パラダイムを開発し，行動データと脳機能イメージングデータの解析や計算論的モデルとの比較を通じて，脳における運動メタ学習機構の統一的な理解を行う．
これまでの研究で、誤差情報の観測の有無によって、運動学習スピードが変化するような条件を発見した。このようなメタ学習に加えて、環境の変動性がどのように運動学習のスピードに影響を与えるのかに関する計算論的モデルを提案した。
報酬駆動型の運動学習中の脳機能イメージングデータを用いて、DCM解析を行い、運動学習に関わる脳部位間の機能的結合を明らかにした。さらに、動物実験へつなげるために、マウス用のロボットマニピュランダムを開発した。

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

Research Products

• [Int'l Joint Research] 南カリフォルニア大学(米国)
• [Journal Article] A small-scale robotic manipulandum for motor control study with rodents (2021)
  • Author(s): Inoue Takahisa、Terada Shin-Ichiro、Matsuzaki Masanori、Izawa Jun
  • Journal Title: Advanced Robotics Volume: online Issue: 13-14 Pages: 1-9
  • DOI: 10.1080/01691864.2021.1912637
  • Peer Reviewed
• [Journal Article] Experience of After-Effect of Memory Update Reduces Sensitivity to Errors During Sensory-Motor Adaptation Task (2021)
  • Author(s): Tanamachi Kenya、Izawa Jun、Yamamoto Satoshi、Ishii Daisuke、Yozu Arito、Kohno Yutaka
  • Journal Title: Frontiers in Human Neuroscience Volume: 15 Pages: 1-8
  • DOI: 10.3389/fnhum.2021.602405
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Reinforcement meta-learning optimizes visuomotor learning (2020)
  • Author(s): Sugiyama Taisei、Schweighofer Nicolas、Izawa Jun
  • Journal Title: bioRxiv Volume: -
  • DOI: 10.1101/2020.01.19.912048
  • Open Access / Int'l Joint Research
• [Remarks] HEBBSS LAB 計算論的神経科学
  • URL: http://hebbs.emp.tsukuba.ac.jp/