Reinforcement learning on Caenorhabditis elegans

2022 Fiscal Year Research-status Report

• Project/Area Number: 20K21805
• Research Institution: The University of Tokyo
• Principal Investigator: 飯野 雄一 東京大学, 大学院理学系研究科(理学部), 教授 (40192471)
• Project Period (FY): 2020-07-30 – 2024-03-31
• Keywords: 線虫C.elegans / 強化学習 / 学習 / Brain-machine interface / 化学走性

Outline of Annual Research Achievements

本研究では、コンピュータに強化学習により、線虫を目的の場所に向かわせるための刺激を学習させることを目的とした。後退を引き起こすASH神経に光遺伝学プローブ（ChR2）を発現させて、行動を記録しつつ機械が決定したタイミングで光刺激をし、後解像度を高く撮影した。このデータを使い、線虫の姿勢も含めて行動のモデル化を行なった。線虫の姿勢は主成分分析により、主要な5つの姿勢の線形結合として表現できることが知られている。この係数（a1;a5）の時系列を確率的生成モデル、MDN-RNN（混合正規分布-自己回帰ニューラルネットワークモデル）に学習させた。これにより、線虫行動の時系列が自動的に生成でき、さらに、混合正規分布で行動が自動的に分類されていることが分かった。このモデルをバーチャル線虫とし、その線虫に対して光刺激をコンピューターが行い、強化学習により設定したゴールに向かうよう学習を行わせた。その結果、学習により目的地に達することがよりよくできるようになることが確認された。次に再度実線虫に戻り、コンピュータが学習したタイミングで光刺激を行ったところ、実際の線虫はやはり設定したゴールに向かう傾向が見られた。以上より、線虫シミュレータが得られたことに加え、強化学習により、よりよい学習が得られたことが成果として挙げられる。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

強化学習の系が成功したため。

Strategy for Future Research Activity

これまでの問題点として、線虫の中心線を正確に決めることが困難なため、線虫が丸まった姿勢をとったときには姿勢データが取れていなかった。中心線取得は過去に発表されたいずれの報告でも完全ではなかった。そこで、線虫連続画像から正確に中心線を得る方法を開発し、その結果をMDN-RNNに学習させることを試みたい。

Causes of Carryover

線虫の中心線の取得のアルゴリズム作成に予想以上に時間がかかり、中心線データを取得しMDN-RNNモデルを学習させる過程が次年度に持ち越しとなり、そのための経費も持ち越しとなったため。

Research Products

• [Journal Article] Different modes of stimuli delivery elicit changes in glutamate driven, experience-dependent interneuron response in C. elegans. (2023)
  • Author(s): Mabardi, L., Sato, H., Toyoshima, Y., Iino, Y., and Kunitomo, H.
  • Journal Title: Neurosci Res Volume: 186 Pages: 33-42
  • DOI: 10.1016/j.neures.2022.10.004.
  • Peer Reviewed / Open Access
• [Journal Article] Molecular encoding and synaptic decoding of context during salt chemotaxis in C. elegans (2022)
  • Author(s): Hiroki, S., Yoshitane, H., Mitsui, H., Sato, H., Umatani, C., Kanda, S., Fukada, Y., and Iino, Y.
  • Journal Title: NATURE COMMUNICATIONS Volume: 13 Pages: (1)2928
  • DOI: 10.1038/s41467-022-30279-7
  • Peer Reviewed / Open Access
• [Journal Article] The redundancy and diversity between two novel PKC isotypes that regulate learning in Caenorhabditis elegans (2022)
  • Author(s): Hiroki, S., and Iino, Y.
  • Journal Title: Proc. Natl. Acad. Sci. U. S. A. Volume: 119 Pages: (3)e2106974119
  • DOI: 10.1073/pnas.2106974119
  • Peer Reviewed / Open Access
• [Journal Article] DAF-2c signaling promotes taste avoidance after starvation in Caenorhabditis elegans by controlling distinct phospholipase C isozymes (2022)
  • Author(s): Tomioka, M., Jang, M.S., and Iino, Y.
  • Journal Title: Commun Biol Volume: 5 Pages: (1)30
  • DOI: 10.1038/s42003-021-02956-8
  • Peer Reviewed / Open Access
• [Journal Article] Probabilistic generative modeling and reinforcement learning extract the intrinsic features of animal behavior (2022)
  • Author(s): Mori, K., Yamauchi, N., Wang, H., Sato, K., Toyoshima, Y., and Iino, Y.
  • Journal Title: Neural Netw Volume: 145 Pages: 107-120
  • DOI: 10.1016/j.neunet.2021.10.002
  • Peer Reviewed / Open Access
• [Presentation] Investigating how worms integrate sensory and motor information in salt klinotaxis (2022)
  • Author(s): Ayaka Matsumoto, Chenqi Zhang, Akihiro Isozaki, Keisuke Goda, Yu Toyoshima, Yuichi Iino
  • Organizer: CeNeuro2022
  • Int'l Joint Research
• [Presentation] Molecules and neural network underlying salt preference (2022)
  • Author(s): Shingo Hiroki, Hirofumi Sato, Yu Toyoshima, Llian Mabardi, Hikari Yoshitane, Hinako Mitsui, Manami Kanamori, Chie Umatani, Shinji Kanda, Mashiro Tomoioka, Koichi Hashimoto, Hirofumi Kunitomo, Yoshitaka Fukada, Takeshi Ishihara & Yuichi Iino
  • Organizer: CeNeuro2022(C. elegans Topic Meeting: Neuronal Development, Synaptic Function and Behavior)
  • Int'l Joint Research
• [Presentation] Analysis of neural activity underlying turning movement by tracking-imaging of freely moving C. elegans. (2022)
  • Author(s): Ukyo T. Tazawa, Koyo Kuze, Ayaka Matsumoto, Yu Toyoshima, Suzu Oe, Takayuki Teramoto, Takeshi Ishihara, Yuichi Iino
  • Organizer: NEURO2022
  • Int'l Joint Research
• [Presentation] 線虫が侵害受容から忌避応答を引き起こす神経回路の解析 (2022)
  • Author(s): 久世晃暢、田澤右京、豊島有、大江紗、寺本孝行、石原健、飯野雄一
  • Organizer: NEURO2022
  • Int'l Joint Research
• [Presentation] Molecules and neural network underlying salt preference (2022)
  • Author(s): Shingo Hiroki, Hirofumi Sato, Yu Toyoshima, Llian Mabardi, Hikari Yoshitane, Hinako Mitsui, Manami Kanamori, Chie Umatani, Shinji Kanda, Mashiro Tomoioka, Koichi Hashimoto, Hirofumi Kunitomo, Yoshitaka Fukada, Takeshi Ishihara & *Yuichi Iino
  • Organizer: CeNeuro2022 (C. elegans Topic Meeting: Neuronal Development, Synaptic Function and Behavior)
  • Int'l Joint Research / Invited
• [Remarks] 飯野研究室
  • URL: http://molecular-ethology.bs.s.u-tokyo.ac.jp/labHP/J/JTop.html