2020 Fiscal Year Research-status Report

Reinforcement learning on Caenorhabditis elegans

Research Project

Project/Area Number	20K21805
Research Institution	The University of Tokyo
Principal Investigator	飯野雄一東京大学, 大学院理学系研究科(理学部), 教授 (40192471)
Project Period (FY)	2020-07-30 – 2022-03-31
Keywords	線虫C.elegans / 強化学習 / 学習 / Brain-machine interface / 化学走性
Outline of Annual Research Achievements	本研究計画では、強化学習を用いて生物機能を向上させる方法論を開発することを目的とした。そのために、体制が単純で試験的な研究に適した線虫C. elegansを用い、強化学習を用いて機械学習を行うことにより、線虫をコントロールすることを試みた。まず、自由行動中の線虫の連続画像から取得したデータをもとにMD-RNNと呼ばれる深層生成モデルを学習させ、実際の線虫と同様の動きをするモデルを作成した。このモデルの特徴は、複数の行動の間の確率的な切り替えも再現できていることである。このリアルな線虫モデルを用いて、in silicoでの強化学習を行った。モデル線虫を特定の場所（ゴール）に向かわせることを目的とした。予め、上記のデータはオプトジェネティクスを用いることにより侵害受容神経をランダムシーケンスで光刺激しつつ取得したので、神経刺激に対する応答もモデル化されている。そこで、どのような光照射を行えばいいかを強化学習のエージェントが学習する。DQNを用いた強化学習を行った。これにより、学習が成功したケースにおいては線虫がゴールに向かうようになった。どのような方策を用いているかを調べたところ、すでに実際の線虫で知られているピルエット機構から想定される方策が用いられていた。
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason モデル線虫を用いた強化学習に成功し、論文を投稿した。
Strategy for Future Research Activity	モデル線虫を用いて行った強化学習で得られた方策を実際の線虫に適用し、モデル線虫でなく実際の線虫をゴールに向かわせることができるかを調べる。さらに、当初計画に記載していた学習能力を高める強化学習を試みたい。
Causes of Carryover	今年度は主にイン・シリコの強化学習を行ったため予算はさほどかからなかった。一方、来年度は実際の線虫を用いた行動制御を試みるため、そのための培養、遺伝子操作、光操作などのために予算を用いる予定である。