Reinforcement learning on Caenorhabditis elegans

• Project/Area Number: 20K21805
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: 飯野 雄一 東京大学, 大学院理学系研究科(理学部), 特任研究員 (40192471)
• Project Period (FY): 2020-07-30 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000); Fiscal Year 2021: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000); Fiscal Year 2020: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
• Keywords: 強化学習 / 確率的生成モデル / 行動制御 / 光遺伝学 / 全脳イメージング / シナプス伝達 / 学習 / 化学走性 / 線虫C.elegans / Brain-machine interface / 線虫 / C. elegans / オプトジェネティクス / 走性行動 / MDN-RNN

Outline of Research at the Start

本研究計画では、強化学習を用いて生物機能を向上させる方法論を開発する。そのために、体制が単純で試験的な研究に適した線虫C. elegansを用い、強化学習を用いて機械学習を行うことにより、線虫の学習能力を制御することを試みる。コンピュータは強化学習により、線虫を目的の場所に向かわせるための刺激を学習する。さらに、線虫の学習能力を高める刺激を学習する。

Outline of Annual Research Achievements

本研究では、すべての神経細胞に名前がつけられていて神経系全体の活動と行動との関係の理解に最適なモデル生物として線虫C. elegansを用いた。この実生物の脳機能を光遺伝学で制御する方法をコンピューターが強化学習により習得することを目指した。成果の概要は以下の通り。
１）線虫の行動をCCDカメラで記録し、位置と姿勢変化の時系列を数値化した。このデータを用いてニューラルネットワークを用いた確率的生成モデルMDN-RNNを学習させ、過去の時系列から次の位置・姿勢を確率的に予測するモデルを作成した。この際、感覚神経の光刺激をランダムシーケンスで行い、刺激に対する応答もモデル化した。２）このMDN-RNNを用い、Q-learningによる強化学習を行い、実験者が設定した位置に到達させるための光刺激パターンを学習させた。３）学習した強化学習モデルを用い、実際の線虫に適切なタイミングで光刺激を与えさせることにより、線虫が任意の目的地に向かうよう制御することに成功した。４）（最終年度成果）微小流路に固定した線虫で全脳イメージングを行って神経活動時系列データを取得した。このデータを用いて、各シナプスについて過去1分間のプレシナプスの神経活動からポストシナプスの次の時点での活動を確率的に予測するモデル、gKDR-GMMを学習させた。これにより、観測された全神経の過去時系列から任意の神経の次の活動を予測すること、および全神経の活動を自律的に生成することに成功した。５）実線虫の塩走性学習において変化するシナプスを特定し、プレシナプスでのプロテインキナーゼC活性とシンタキシンのセリン65のリン酸化によるシナプス伝達物質の放出量の変化がシナプス伝達を興奮性⇔抑制性と変化させることが、学習による行動変化の基盤であることを見出した。これら分子の活性を人為的に変えることにより学習が変化する。

Research Products

• [Journal Article] Neuronal sensorimotor integration guiding salt concentration navigation in Caenorhabditis elegans (2024)
  • Author(s): Matsumoto, A., Toyoshima, Y., Zhang, C., Isozaki, A., Goda, K., and Iino, Y.
  • Journal Title: Proceedings of the National Academy of Sciences Volume: 121 Issue: 5
  • DOI: 10.1073/pnas.2310735121
  • Peer Reviewed / Open Access
• [Journal Article] Ensemble dynamics and information flow deduction from whole-brain imaging data (2024)
  • Author(s): Toyoshima, Y., Sato, H., Nagata, D., Kanamori, M., Jang, M.S., Kuze, K., Oe, S., Teramoto, T., Iwasaki, Y., Yoshida, R., Ishihara, T., Iino, Y.
  • Journal Title: PLOS Computational Biology Volume: 20 Issue: 3 Pages: e1011848-e1011848
  • DOI: 10.1371/journal.pcbi.1011848
  • Peer Reviewed / Open Access
• [Journal Article] Multiple p38/JNK mitogen-activated protein kinase (MAPK) signaling pathways mediate salt chemotaxis learning in C. elegans (2023)
  • Author(s): Huang, T., Suzuki, K., Kunitomo, H., Tomioka, M., and Iino, Y.
  • Journal Title: G3: Genes|Genomes|Genetics Volume: 13 Issue: 9
  • DOI: 10.1093/g3journal/jkad129
  • Peer Reviewed / Open Access
• [Journal Article] Antagonistic regulation of salt and sugar chemotaxis plasticity by a single chemosensory neuron in Caenorhabditis elegans (2023)
  • Author(s): Tomioka, M., Umemura, Y., Ueoka, Y., Chin, R., Katae, K., Uchiyama, C., Ike, Y., and Iino, Y.
  • Journal Title: PLOS Genetics Volume: 19 Issue: 9 Pages: e1010637-e1010637
  • DOI: 10.1371/journal.pgen.1010637
  • Peer Reviewed / Open Access
• [Journal Article] WormTensor: a clustering method for time-series whole-brain activity data from C. elegans (2023)
  • Author(s): Tsuyuzaki, K., Yamamoto, K., Toyoshima, Y., Sato, H., Kanamori, M., Teramoto, T., Ishihara, T., Iino, Y., and Nikaido, I.
  • Journal Title: BMC Bioinformatics Volume: 24 Issue: 1 Pages: 254-254
  • DOI: 10.1186/s12859-023-05230-2
  • Peer Reviewed / Open Access
• [Journal Article] Different modes of stimuli delivery elicit changes in glutamate driven, experience-dependent interneuron response in C. elegans (2023)
  • Author(s): Mabardi Llian、Sato Hirofumi、Toyoshima Yu、Iino Yuichi、Kunitomo Hirofumi
  • Journal Title: Neuroscience Research Volume: 186 Pages: 33-42
  • DOI: 10.1016/j.neures.2022.10.004
  • Peer Reviewed / Open Access
• [Journal Article] Molecular encoding and synaptic decoding of context during salt chemotaxis in C. elegans (2022)
  • Author(s): Hiroki Shingo、Yoshitane Hikari、Mitsui Hinako、Sato Hirofumi、Umatani Chie、Kanda Shinji、Fukada Yoshitaka、Iino Yuichi
  • Journal Title: Nature Communications Volume: 13 Issue: 1 Pages: 2928-2928
  • DOI: 10.1038/s41467-022-30279-7
  • Peer Reviewed / Open Access
• [Journal Article] The redundancy and diversity between two novel PKC isotypes that regulate learning in Caenorhabditis elegans. (2022)
  • Author(s): Hiroki S, Iino, Y.
  • Journal Title: Proceedings of the National Academy of Sciences of the United States of America Volume: 119(3) Issue: 3
  • DOI: 10.1073/pnas.2106974119
  • Peer Reviewed / Open Access
• [Journal Article] DAF-2c signaling promotes taste avoidance after starvation in Caenorhabditis elegans by controlling distinct phospholipase C isozymes (2022)
  • Author(s): Masahiro Tomioka, Moon Sun Jang, Yuichi Iino
  • Journal Title: Communications Biology Volume: 5 Issue: 1 Pages: 30-30
  • DOI: 10.1038/s42003-021-02956-8
  • Peer Reviewed / Open Access
• [Journal Article] Probabilistic generative modeling and reinforcement learning extract the intrinsic features of animal behavior (2022)
  • Author(s): Keita Mori, Naohiro Yamauchi, Haoyu Wang, Ken Sato, Yu Toyoshima, Yuichi Iino
  • Journal Title: Neural Networks Volume: 145 Pages: 107-120
  • DOI: 10.1016/j.neunet.2021.10.002
  • Peer Reviewed / Open Access
• [Journal Article] Neuron ID dataset facilitates neuronal annotation for whole-brain activity imaging of C. elegans (2020)
  • Author(s): Yu Toyoshima, Stephen Wu, Manami Kanamori, Hirofumi Sato, Moon Sun Jang, Suzu Oe, Yuko Murakami, Takayuki Teramoto, Chanhyun Park, Yuishi Iwasaki, Takeshi Ishihara, Ryo Yoshida & Yuichi Iino
  • Journal Title: BMC Biology Volume: 18 Issue: 1 Pages: 30-30
  • DOI: 10.1186/s12915-020-0745-2
  • Peer Reviewed / Open Access
• [Presentation] Analysis of the decreased brain-wide neural correlations in aging C. elegans (2023)
  • Author(s): 曾 敬萱
  • Organizer: 線虫研究の未来を創る会2023
• [Presentation] The progeny of C.elegans that have been exposed to high salt conditions in its parent generation avoid high salt conditions (2023)
  • Author(s): Manami Dote
  • Organizer: 24th International C. elegans Conference
  • Int'l Joint Research
• [Presentation] Dye-uptake of amphid neurons enhances phototaxis behavior in a LITE-1 dependent manner (2023)
  • Author(s): Hirofumi Kunitomo
  • Organizer: 24th International C. elegans Conference
  • Int'l Joint Research
• [Presentation] Classification of C. elegans behaviors based on centroid movement and posture analyses (2023)
  • Author(s): Yuichi Iino
  • Organizer: 24th International C. elegans Conference
  • Int'l Joint Research
• [Presentation] 線虫C. elegansにおける糖濃度学習の機能解析 (2023)
  • Author(s): 富永 慶子
  • Organizer: 日本動物学会関東支部第75回大会国
• [Presentation] Investigating how worms integrate sensory and motor information in salt klinotaxis (2022)
  • Author(s): Ayaka Matsumoto, Chenqi Zhang, Akihiro Isozaki, Keisuke Goda, Yu Toyoshima, Yuichi Iino
  • Organizer: CeNeuro2022
  • Int'l Joint Research
• [Presentation] Molecules and neural network underlying salt preference (2022)
  • Author(s): Shingo Hiroki, Hirofumi Sato, Yu Toyoshima, Llian Mabardi, Hikari Yoshitane, Hinako Mitsui, Manami Kanamori, Chie Umatani, Shinji Kanda, Mashiro Tomoioka, Koichi Hashimoto, Hirofumi Kunitomo, Yoshitaka Fukada, Takeshi Ishihara & Yuichi Iino
  • Organizer: CeNeuro2022(C. elegans Topic Meeting: Neuronal Development, Synaptic Function and Behavior)
  • Int'l Joint Research
• [Presentation] Analysis of neural activity underlying turning movement by tracking-imaging of freely moving C. elegans. (2022)
  • Author(s): Ukyo T. Tazawa, Koyo Kuze, Ayaka Matsumoto, Yu Toyoshima, Suzu Oe, Takayuki Teramoto, Takeshi Ishihara, Yuichi Iino
  • Organizer: NEURO2022
  • Int'l Joint Research
• [Presentation] 線虫が侵害受容から忌避応答を引き起こす神経回路の解析 (2022)
  • Author(s): 久世晃暢、田澤右京、豊島有、大江紗、寺本孝行、石原健、飯野雄一
  • Organizer: NEURO2022
  • Int'l Joint Research
• [Presentation] Molecules and neural network underlying salt preference (2022)
  • Author(s): Shingo Hiroki, Hirofumi Sato, Yu Toyoshima, Llian Mabardi, Hikari Yoshitane, Hinako Mitsui, Manami Kanamori, Chie Umatani, Shinji Kanda, Mashiro Tomoioka, Koichi Hashimoto, Hirofumi Kunitomo, Yoshitaka Fukada, Takeshi Ishihara & *Yuichi Iino
  • Organizer: CeNeuro2022 (C. elegans Topic Meeting: Neuronal Development, Synaptic Function and Behavior)
  • Int'l Joint Research / Invited
• [Presentation] 線虫の行動制御神経回路機構の強化学習による探索 (2021)
  • Author(s): 山内直寛、森啓太、飯野雄一、銅谷賢治
  • Organizer: 第44回日本神経科学大会
• [Presentation] Disentangling behavioral dynamics with MDN-RNN (2020)
  • Author(s): Keita Mori
  • Organizer: NeurIPS2020
  • Int'l Joint Research
• [Presentation] 線虫の混合密度再帰型ニューラルネットワークによる行動シミュレーションと強化学習による行動制御 (2020)
  • Author(s): 山内直寛
  • Organizer: 第43回神経科学大会
• [Remarks] 飯野研究室
  • URL: http://molecular-ethology.bs.s.u-tokyo.ac.jp/labHP/J/JTop.html