2018 Fiscal Year Annual Research Report
| Project/Area Number |
17H03545
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
濱口 航介 京都大学, 医学研究科, 講師 (50415270)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | カルシウムイメージング / システム神経科学 / 強化学習 |
|---|
| Outline of Annual Research Achievements |
本研究では，以下の課題を行った．
１．二光子カルシウムイメージング法による神経活動の計測
聴覚情報がどのように報酬信号が生成されるのか調べるため，げっ歯類を用いた遅延選択課題を行った．さらに大脳皮質から二光子顕微鏡を用いて，カルシウムイメージング法による神経活動の観察を行った。また大規模な神経活動の画像から，自動的に関心領域を検出する新しいアルゴリズムを作成した．これにより，前頭皮質には運動の準備中に運動とその報酬期待を表現する神経活動が存在することが確認できた．報酬期待の変化は，従来考えられていた単純な強化学習のモデルでは説明できず，環境の隠れ変数を含んだモデルでよく説明できることがわかった．環境を学習する能力は，非生物のみならず，他者のモデルを学習する上でも有用である．そこで次年度の発展として，環境のダイナミクスを学習させる課題に取り組み，皮質という汎用回路がどのように変化する環境を予測し，行動選択を行うか調べる．
２．部分観測マルコフ決定過程による動物行動のモデル化
動物は現在行うべき行動が，なんらかの理由で変化することを知っている．しかしどの行動が報酬に結び付くかは，明示的には示されておらず，行動後に判明する報酬の有無によってのみ，知ることができる．そこで，動物行動を部分観測マルコフ決定過程によってモデル化したところ，学習後期により高い尤度で動物行動を説明できる事がわかった．一方で，学習初期には，環境のモデルを持たない強化学習モデルのほうが，よく動物行動を説明できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
大規模な神経活動の画像から，自動的に関心領域を検出する新しいアルゴリズムが完成した．これにより，前頭皮質には運動の準備中に運動とその報酬期待を表現する神経活動が存在することが確認できた．また以前より進めていたシリコンプローブによる多電極記録のシステムが完成した．また独自開発した行動課題を用いて，マウスが内部モデルを学習している確証を得た．以上を持って，おおむね順調に進展していると判断した．
|
| Strategy for Future Research Activity |
報酬期待の変化は，従来考えられていた単純な強化学習のモデルでは説明できず，環境の隠れ変数を含んだモデルでよく説明できることがわかった．そこで，最終年度は，この結果をより多くの動物で確認する．また行動開始に向けて起こる準備活動が，実際に行動選択に関わるかどうか，光抑制によって因果関係を明らかにする．
|
