2021 Fiscal Year Research-status Report

Reinforcement learning on Caenorhabditis elegans

Research Project

Project/Area Number	20K21805
Research Institution	The University of Tokyo
Principal Investigator	飯野雄一東京大学, 大学院理学系研究科(理学部), 教授 (40192471)
Project Period (FY)	2020-07-30 – 2023-03-31
Keywords	線虫 / C. elegans / オプトジェネティクス / 強化学習 / 走性行動 / MDN-RNN
Outline of Annual Research Achievements	本研究では動物の行動を強化学習によりコントロールすることを試みた。材料として、体制が簡単で神経科学の研究も進んでおり多くのリソースが利用できる線虫C. elegansを用いた。コントロールのための手がかりとしてオプトジェネティクスを用いることとし、侵害受容感覚神経であるASH神経にチャネルロドプシンChR2を発現させた線虫を用いた。まず、ASH神経への光刺激に対する線虫の行動応答を計算機に学習させることを試みた。このモデリングのために、線虫の姿勢を5つの主成分スコアで表現し、自己回帰ニューラルネットワーク（RNN）に、混合ガウス分布の確率モデルを組み合わせたMDN-RNNを用いた。このモデルでは、RNNが過去の姿勢の時系列の入力を受けて次の行動を出力するが、その際に混合ガウス分布で確率的予測を行う。線虫を含め動物行動は確率的要素を含むのため、このモデルは行動を非常にうまく再現できることがわかった。さらに、このモデルに対して強化学習を施した。光刺激のタイミングを計算機が学習する。報酬は特定の場所に線虫が向かい、近づくこととした。強化学習を繰り返すことにより、線虫を特定の場所に向かわせるために必要な刺激パターンが学習された。すでに実動物における化学走性の行動機構が研究されているが、そこで知られるピルエット機構と同一の刺激パターンが学習された。さらに、強化学習で学習した結果に基づき、実動物の位置に応じて計算機が司令を出し実際に光を当てるという実験を行い、線虫を特定の場所に向かわせることに成功した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 線虫の行動をコントロールすることに成功し、実動物での検証に至ったためほぼ順調な進展と考える。
Strategy for Future Research Activity	行動のモデリングが不十分であり、体を屈曲してターンする行動が十分再現されていない。この点を改善することにより、線虫をさらに正確にコントロールすることを目指す。
Causes of Carryover	行動レベルでの強化学習についてコロナ感染症により予定より実施・完成が遅れ、神経回路レベルでの強化学習の結果を完成させるために令和4年度まで実施が必要となったため。