非合理な選択行動の特性から学習原理を導く

• 研究課題/領域番号: 21700174
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 知能情報学
• 研究機関: 玉川大学
• 研究代表者: 酒井 裕 玉川大学, 脳科学研究所, 准教授 (70323376)
• 研究期間 (年度): 2009 – 2012
• 研究課題ステータス: 完了 (2012年度)
• 配分額: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円); 2012年度: 650千円 (直接経費: 500千円、間接経費: 150千円); 2011年度: 650千円 (直接経費: 500千円、間接経費: 150千円); 2010年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2009年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
• キーワード: 遅延割引 / 学習行動 / 強化学習 / 割引価値問題 / マッチング行動 / 衝動的選好 / 知能機械 / 神経科学 / 動物行動 / 知識獲得

研究概要

ヒトを含め、動物は目先の利益にとらわれがちである。これは、動物が将来得られる利益の価値を主観的に割り引いており、より価値の高い利益を選択した結果であると解釈されている。このような主観的価値を取り入れた行動学習の枠組は強化学習理論として確立しているが、従来の枠組の適用範囲は狭く、動物行動に適用すると単純な実験例でも枠組が崩壊することを示した。そのため、この問題を解決する新たな行動学習の枠組を構築した

研究成果

• [雑誌論文] Reinforcement learning for discounted values often loses the goal in the application to animal learning (2012)
  • 著者名/発表者名: Yamaguchi Y, Sakai Y
  • 雑誌名: Neural networks : the official journal of the International Neural Network Society 巻: 35C ページ: 88-91
  • DOI: 10.1016/j.neunet.2012.08.004
  • 査読あり
• [雑誌論文] Reinforcing operandum: rapid andreliable learning of skilled forelimbmovements by head-fixed rodents (2012)
  • 著者名/発表者名: Kimura R, et al. Sakai Y
  • 雑誌名: Journal of Neurophysiology 巻: vol.108 号: 6 ページ: 1781-1792
  • DOI: 10.1152/jn.00356.2012
  • 査読あり
• [雑誌論文] A theoreticalapproach to animal's impulsivepreference: Impulsive choice behavioris interpreteded as a result of rewardmaximization failure (2012)
  • 著者名/発表者名: Yamaguchi Y, Sakai Y
  • 雑誌名: Proceedings ofSCIS-ISIS2012, Kobe, Japan 巻: Nov. 20-24 ページ: 1182-1185
  • DOI: 10.1109/scis-isis.2012.6505271
  • 査読あり
• [雑誌論文] シナプス可塑性と学習-新たな学習原理の発見へ (2010)
  • 著者名/発表者名: 酒井裕
  • 雑誌名: 未来材料 巻: 10 ページ: 67-72
• [学会発表] Impulsivepreference emerges as a result fromreward-maximization failure (2012)
  • 著者名/発表者名: Yamaguchi Y, Sakai Y
  • 学会等名: 第35回日本神経科学大会
  • 発表場所: 名古屋
  • 年月日: 2012-09-19
• [学会発表] 割引価値問題は被験者の戦略によって不良設定問題となる (2011)
  • 著者名/発表者名: 山口良哉,酒井裕
  • 学会等名: 日本神経回路学会 第21回全国大会
  • 発表場所: 沖縄
  • 年月日: 2011-12-15
• [学会発表] 割引価値問題は被験者の戦略によって不良設定問題となる (2011)
  • 著者名/発表者名: 酒井裕
  • 学会等名: 日本神経回路学会第21回全国大会
  • 発表場所: 沖縄科学技術大学院大学(沖縄県)
  • 年月日: 2011-12-15
• [学会発表] 非合理行動の背後にある合理的学習戦略 (2011)
  • 著者名/発表者名: 酒井裕
  • 学会等名: 日本基礎心理学会 第30回大会
  • 発表場所: 横浜
  • 年月日: 2011-12-04
• [学会発表] 非合理行動の背後にある合理的な学習戦略 (2011)
  • 著者名/発表者名: 酒井裕
  • 学会等名: 日本基礎心理学会第30回大会
  • 発表場所: 慶義塾大学日吉キャンパス(神奈川県)(招待講演)
  • 年月日: 2011-12-04
• [学会発表] The reward-maximization learning indifferent to historical state reproduces the preference reversal in intertemporal choice (2011)
  • 著者名/発表者名: Sakai Y
  • 学会等名: The 34th annual meeting of the Japan neuroscience society
  • 発表場所: パシフィコ横浜(神奈川県)
  • 年月日: 2011-09-17
• [学会発表] Discounted value problem becomes ill-posed by subject's strategy (2011)
  • 著者名/発表者名: Sakai Y
  • 学会等名: The 8th IBRO World Congress of Neuroscience
  • 発表場所: Fortezza da Basso (Florence, Italy)
  • 年月日: 2011-07-17
• [学会発表] Discountedvalue problem becomes ill-posed bysubject's strategy (2011)
  • 著者名/発表者名: Yamaguchi Y, Sakai Y
  • 学会等名: 8th IBRO
  • 発表場所: Florence, Italy
  • 年月日: 2011-07-16
• [学会発表] 強化学習における時間割引の再考 (2011)
  • 著者名/発表者名: 山口良哉,酒井裕
  • 学会等名: 日本物理学会 第66回年次大会
  • 発表場所: 新潟
  • 年月日: 2011-03-25
• [学会発表] 強化学習における時間割引の再考 (2011)
  • 著者名/発表者名: 酒井裕
  • 学会等名: 日本物理学会 第66回年次大会
  • 発表場所: 新潟大学(新潟県)
  • 年月日: 2011-03-25
• [学会発表] Purpose orStrategy? Reconsideration of temporaldiscount in non-Markov situation (2010)
  • 著者名/発表者名: Yamaguchi Y, Sakai Y
  • 学会等名: 第33回日本神経科学大会
  • 発表場所: 神戸
  • 年月日: 2010-09-04
• [学会発表] Purpose or Strategy? Reconsideration of temporal discount in non-Markov situation (2010)
  • 著者名/発表者名: Sakai, Y.
  • 学会等名: Neuro 2010
  • 発表場所: 神戸コンベンションセンター(兵庫県)
  • 年月日: 2010-09-04
• [学会発表] A hypothesis ofefficient learning rule: dopaminedependent metaplasticity (2010)
  • 著者名/発表者名: Yutaka Sakai
  • 学会等名: 第33回日本神経科学大会
  • 発表場所: 神戸
  • 年月日: 2010-09-03
• [学会発表] A hypothesis of efficient learning rule : dopamine-dependent metaplasticity (2010)
  • 著者名/発表者名: Sakai, Y.
  • 学会等名: Neuro 2010
  • 発表場所: 神戸コンベンションセンター(兵庫県)
  • 年月日: 2010-09-03
• [学会発表] A theoretical approach to animal's impulsive preference - Impulsive choice behavior is interpreted as a result of reward-maximization failure
  • 著者名/発表者名: Yoshiya Yamaguchi
  • 学会等名: SCIS-ISIS2012
  • 発表場所: 神戸コンベンションセンター（兵庫県）
  • 招待講演
• [学会発表] Impulsive preference emerges as a result from reward-maximization failure
  • 著者名/発表者名: Yoshiya Yamaguchi
  • 学会等名: Neuroscience 2012
  • 発表場所: 名古屋国際会議場（愛知県）
• [備考]
  • URL: http://spike.lab.tamagawa.ac.jp/