Reinforcement learning on Caenorhabditis elegans

2023 Fiscal Year Annual Research Report

• Project/Area Number: 20K21805
• Research Institution: The University of Tokyo
• Principal Investigator: 飯野 雄一 東京大学, 大学院理学系研究科(理学部), 特任研究員 (40192471)
• Project Period (FY): 2020-07-30 – 2024-03-31
• Keywords: 強化学習 / 確率的生成モデル / 行動制御 / 光遺伝学 / 全脳イメージング / シナプス伝達 / 学習 / 化学走性

Outline of Annual Research Achievements

本研究では、すべての神経細胞に名前がつけられていて神経系全体の活動と行動との関係の理解に最適なモデル生物として線虫C. elegansを用いた。この実生物の脳機能を光遺伝学で制御する方法をコンピューターが強化学習により習得することを目指した。成果の概要は以下の通り。
１）線虫の行動をCCDカメラで記録し、位置と姿勢変化の時系列を数値化した。このデータを用いてニューラルネットワークを用いた確率的生成モデルMDN-RNNを学習させ、過去の時系列から次の位置・姿勢を確率的に予測するモデルを作成した。この際、感覚神経の光刺激をランダムシーケンスで行い、刺激に対する応答もモデル化した。２）このMDN-RNNを用い、Q-learningによる強化学習を行い、実験者が設定した位置に到達させるための光刺激パターンを学習させた。３）学習した強化学習モデルを用い、実際の線虫に適切なタイミングで光刺激を与えさせることにより、線虫が任意の目的地に向かうよう制御することに成功した。４）（最終年度成果）微小流路に固定した線虫で全脳イメージングを行って神経活動時系列データを取得した。このデータを用いて、各シナプスについて過去1分間のプレシナプスの神経活動からポストシナプスの次の時点での活動を確率的に予測するモデル、gKDR-GMMを学習させた。これにより、観測された全神経の過去時系列から任意の神経の次の活動を予測すること、および全神経の活動を自律的に生成することに成功した。５）実線虫の塩走性学習において変化するシナプスを特定し、プレシナプスでのプロテインキナーゼC活性とシンタキシンのセリン65のリン酸化によるシナプス伝達物質の放出量の変化がシナプス伝達を興奮性⇔抑制性と変化させることが、学習による行動変化の基盤であることを見出した。これら分子の活性を人為的に変えることにより学習が変化する。

Research Products

• [Journal Article] Neuronal sensorimotor integration guiding salt concentration navigation in Caenorhabditis elegans (2024)
  • Author(s): Matsumoto, A., Toyoshima, Y., Zhang, C., Isozaki, A., Goda, K., and Iino, Y.
  • Journal Title: Proceedings of the National Academy of Sciences Volume: 121 Pages: e2310735121
  • DOI: 10.1073/pnas.2310735121
  • Peer Reviewed / Open Access
• [Journal Article] Ensemble dynamics and information flow deduction from whole-brain imaging data (2024)
  • Author(s): Toyoshima, Y., Sato, H., Nagata, D., Kanamori, M., Jang, M.S., Kuze, K., Oe, S., Teramoto, T., Iwasaki, Y., Yoshida, R., Ishihara, T., Iino, Y.
  • Journal Title: PLOS Computational Biology Volume: 20 Pages: e1011848
  • DOI: 10.1371/journal.pcbi.1011848
  • Peer Reviewed / Open Access
• [Journal Article] Multiple p38/JNK mitogen-activated protein kinase (MAPK) signaling pathways mediate salt chemotaxis learning in C. elegans (2023)
  • Author(s): Huang, T., Suzuki, K., Kunitomo, H., Tomioka, M., and Iino, Y.
  • Journal Title: G3: Genes|Genomes|Genetics Volume: 13 Pages: jkad129
  • DOI: 10.1093/g3journal/jkad129
  • Peer Reviewed / Open Access
• [Journal Article] Antagonistic regulation of salt and sugar chemotaxis plasticity by a single chemosensory neuron in Caenorhabditis elegans (2023)
  • Author(s): Tomioka, M., Umemura, Y., Ueoka, Y., Chin, R., Katae, K., Uchiyama, C., Ike, Y., and Iino, Y.
  • Journal Title: PLOS Genetics Volume: 19 Pages: e1010637
  • DOI: 10.1371/journal.pgen.1010637
  • Peer Reviewed / Open Access
• [Journal Article] WormTensor: a clustering method for time-series whole-brain activity data from C. elegans (2023)
  • Author(s): Tsuyuzaki, K., Yamamoto, K., Toyoshima, Y., Sato, H., Kanamori, M., Teramoto, T., Ishihara, T., Iino, Y., and Nikaido, I.
  • Journal Title: BMC Bioinformatics Volume: 24 Pages: 254
  • DOI: 10.1186/s12859-023-05230-2
  • Peer Reviewed / Open Access
• [Presentation] Analysis of the decreased brain-wide neural correlations in aging C. elegans (2023)
  • Author(s): 曾 敬萱
  • Organizer: 線虫研究の未来を創る会2023
• [Presentation] The progeny of C.elegans that have been exposed to high salt conditions in its parent generation avoid high salt conditions (2023)
  • Author(s): Manami Dote
  • Organizer: 24th International C. elegans Conference
  • Int'l Joint Research
• [Presentation] Dye-uptake of amphid neurons enhances phototaxis behavior in a LITE-1 dependent manner (2023)
  • Author(s): Hirofumi Kunitomo
  • Organizer: 24th International C. elegans Conference
  • Int'l Joint Research
• [Presentation] Classification of C. elegans behaviors based on centroid movement and posture analyses (2023)
  • Author(s): Yuichi Iino
  • Organizer: 24th International C. elegans Conference
  • Int'l Joint Research
• [Presentation] 線虫C. elegansにおける糖濃度学習の機能解析 (2023)
  • Author(s): 富永 慶子
  • Organizer: 日本動物学会関東支部第75回大会国