2011 Fiscal Year Research-status Report

中脳ドーパミン系による長期的な将来報酬価値の脳内計算機構

Research Project

Project/Area Number	23700503
Research Institution	Tamagawa University
Principal Investigator	榎本一紀玉川大学, 脳科学研究所, 嘱託研究員 (10585904)
Project Period (FY)	2011-04-28 – 2013-03-31
Keywords	神経科学 / ドーパミン / 霊長類 / 報酬 / 意思決定 / 学習 / 強化学習
Research Abstract	平成23年度は、主に実験で得られたデータの解析および論文作成を行った。実験は、ニホンザルを被検体として、意思決定をともなう行動選択課題を学習させ、課題遂行中の中脳ドーパミン細胞の活動を記録するというものである。課題は、一連の行動によって複数回の報酬（ジュース）が得られるようにデザインした。動物は学習が進むにつれ、目前の一回分の報酬ではなく、長期的な、複数回の報酬を期待して行動を行うようになった。ドーパミン細胞は課題開始の合図である視覚刺激などに対して応答し、その細胞活動は期待される報酬の価値を表現しており、強化学習モデルと呼ばれる学習モデルを用いて計算した、長期的な報酬情報を反映していた。また、そのような活動は、学習が十分進行し、課題に習熟してはじめて観測されることが確かめられた。　これらの結果は、人間や他の動物が、変動しつづける環境の中で、試行錯誤によって利得を最大化していくメカニズムとして、神経システムに実装されていると提唱されている強化学習モデルについて、物質的基盤となる知見を提供するとともに、目前の報酬情報表現についてしかほとんど研究されていなかったドーパミン細胞が、学習によって長期的な報酬価値表現を‘獲得’できる、という証拠を示したという点で、報酬にもとづいた学習や意思決定にかかわる神経システムの解明において、革新的である。また、長期的な報酬予測システムの異常によると考えられる、薬物中毒やアルコール・ギャンブル依存症などの社会性行動異常の病態解明や治療法の開発にもつながる可能性が期待される成果である。　これらの結果にもとづいて作成した論文は米科学アカデミー紀要に掲載された。また、以上の研究成果は、第34回日本神経科学大会での口演発表をはじめ、各地の研究会や一般公開シンポジウムなどでも発信しており、研究者のみならず、広く社会的に耳目を集める成果となった。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 平成23年度は実験で得られたデータの解析と論文作成に尽力した。ニホンザルを被験体とする実験によって、中脳ドーパミン細胞において、長期的な将来報酬価値の表現が学習によって獲得される、という結果を得たので、論文にまとめ、投稿した。　論文はインパクトファクターの高い国際誌に掲載され、その概要と新たな解析によって得られた結果を第34回日本神経科学大会シンポジウムをはじめ、多くの研究会で報告するなど、順調に進展している。
Strategy for Future Research Activity	今後の研究方針については、当初の研究計画を発展的に改良して、複数の動物を用いた、社会的コンテクスト下における、ドーパミン細胞の長期的な将来報酬の価値表現に焦点を当てた研究を計画している。この研究では大幅な実験設備の増補・改良が必要となり、かつ、前例の少ない研究であるため、平成23年度は実験計画の綿密なデザインに努めることによって出費を抑え、次年度において集中的に研究費を使用する方針をとった。現在までの研究によって、ドーパミン細胞の活動が主観的な報酬価値を表現していることは明らかになりつつあるが、その表現がどのように他者の存在（同種異個体との競争や協力関係）によって影響を受けるのかについては、神経メカニズムはもとより、行動モデルにおいても未だ理解が乏しい状況である。そのため、複数頭のニホンザルを被験体として、二頭を向き合わせて意思決定をともなう行動課題を行わせる。お互いの選択行動によって獲得できる報酬が影響を受ける課題構造を学習させることで、単個体で同様の課題を行う場合と比べて、動物の行動やドーパミン細胞が表現する報酬価値がどのような影響を受けるのかを明らかにする予定である。また、相手の個体の性別や社会的地位による影響においても検討する。
Expenditure Plans for the Next FY Research Funding	次年度は、複数頭のニホンザルが関わる、社会的関係における利己的・利他的行動や報酬情報の表現について調べるための実験を行う。この実験では、同時に二頭の動物の行動データ（ボタン押し運動の反応時間や、報酬パイプへの舌なめ運動、眼球運動など）および神経細胞活動を記録するため、既存の実験設備を大幅に増補・改変することが必須である。　このような実験は世界でも例が少ないため、まずは行動モデルの確立をめざし、性別や社会的地位などの他者の情報が、どのように報酬にもとづいた行動学習や神経細胞活動に影響するのかを明らかにしていく予定である。そのため、二頭の動物のための頭部固定装置、外科的処置のための器具、薬品をはじめ、課題装置（タスクパネル、フレームセット）や行動測定装置（ひずみゲージ、眼球運動測定カメラ）、それらの解析装置などの機材準備、識者との研究計画打合せなどについて研究費を使用する予定である。