2014 Fiscal Year Annual Research Report
報酬予測誤差計算と強化学習の神経回路機構：皮質線条体時間誤差仮説の理論的検討
Publicly Offered Research
| Project Area | Elucidation of neural computation for prediction and decision making: toward better human understanding and applications |
|---|
| Project/Area Number |
26120710
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
森田 賢治 東京大学, 教育学研究科(研究院), 講師 (60446531)
|
|---|
| Project Period (FY) |
2014-04-01 – 2016-03-31
|
| Keywords | 強化学習 |
|---|
| Outline of Annual Research Achievements |
皮質-線条体結合に関して、皮質か線条体内かという刺激部位の違い（活性化される繊維の組成が異なることが考えられる）により応答の短期可塑性が変わるという実験結果（Ding et al., 2008, J Neurosci 28:6483）から、プレ・ポスト各細胞種間それぞれのシナプス短期可塑性および解剖学的な結合の強さを、数理モデルのフィッティング最適化により推定したところ、既存の解剖学的知見およびCSTD仮説で仮定した伝達の選択性と符合するといえる結果が得られている。そこで、それについて、さらに他の実験結果との整合性を検討し、また、線条体の下流の淡蒼球・黒質におけるシナプスの短期可塑性の影響を考え合わせて、皮質→基底核直接路・間接路のトータルの伝達の強さについて、仮説にどのように組み込んでいくべきか検討を進めた。大脳基底核がいかに価値学習に関わっているかについては、直接路と間接路と呼ばれる二つの主要な経路が、それぞれ、正の結果（報酬）からの学習、および負の結果（罰）からの学習に強く関わっているとする仮説（Go/No-Go学習仮説）が広く知られている。この仮説とCSTD仮説とは、直接路・間接路の動作・機能、ドーパミン依存的神経可塑性などについて大きく異なる。そこで、Go/No-Go学習仮説を支持しうると考えられてきた実験結果が、CSTD仮説によっても説明しうるものであるかどうか、大脳皮質-基底核の神経回路モデルのシミュレーションを行って検討を進めた。さらに、CSTD仮説によって、神経活動のレベルおよび行動のレベルにおいて、どのようなことが予測されるかについても検討を進めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Go/No-Go仮説を支持しうると考えられてきた実験結果がCS-TD仮説によっても説明しうるかについて、パラメータの値をある程度変えても主な結果の特徴がそれなりに保たれるかなどの検討も進むなど、概ね順調に進展していると考えている。
|
| Strategy for Future Research Activity |
昨年度に引き続き、大脳基底核内のシナプス結合の特性などを考慮しつつ、皮質基底核間の伝達の選択性について検討を行い、CSTD仮説の妥当性の検証を行っていく考えである。また、Go/No-Go仮説を支持しうると考えられてきた実験結果がCSTD仮説によっても説明されうるかについては、新たに別の種類の実験結果についてもCSTD仮説に基づく神経回路モデリング・シミュレーションを行って検討・解析を進めていく考えである。
|
