線虫を用いた強化学習の試み

2023 年度 実績報告書

• 研究課題/領域番号: 20K21805
• 研究機関: 東京大学
• 研究代表者: 飯野 雄一 東京大学, 大学院理学系研究科(理学部), 特任研究員 (40192471)
• 研究期間 (年度): 2020-07-30 – 2024-03-31
• キーワード: 強化学習 / 確率的生成モデル / 行動制御 / 光遺伝学 / 全脳イメージング / シナプス伝達 / 学習 / 化学走性

研究実績の概要

本研究では、すべての神経細胞に名前がつけられていて神経系全体の活動と行動との関係の理解に最適なモデル生物として線虫C. elegansを用いた。この実生物の脳機能を光遺伝学で制御する方法をコンピューターが強化学習により習得することを目指した。成果の概要は以下の通り。
１）線虫の行動をCCDカメラで記録し、位置と姿勢変化の時系列を数値化した。このデータを用いてニューラルネットワークを用いた確率的生成モデルMDN-RNNを学習させ、過去の時系列から次の位置・姿勢を確率的に予測するモデルを作成した。この際、感覚神経の光刺激をランダムシーケンスで行い、刺激に対する応答もモデル化した。２）このMDN-RNNを用い、Q-learningによる強化学習を行い、実験者が設定した位置に到達させるための光刺激パターンを学習させた。３）学習した強化学習モデルを用い、実際の線虫に適切なタイミングで光刺激を与えさせることにより、線虫が任意の目的地に向かうよう制御することに成功した。４）（最終年度成果）微小流路に固定した線虫で全脳イメージングを行って神経活動時系列データを取得した。このデータを用いて、各シナプスについて過去1分間のプレシナプスの神経活動からポストシナプスの次の時点での活動を確率的に予測するモデル、gKDR-GMMを学習させた。これにより、観測された全神経の過去時系列から任意の神経の次の活動を予測すること、および全神経の活動を自律的に生成することに成功した。５）実線虫の塩走性学習において変化するシナプスを特定し、プレシナプスでのプロテインキナーゼC活性とシンタキシンのセリン65のリン酸化によるシナプス伝達物質の放出量の変化がシナプス伝達を興奮性⇔抑制性と変化させることが、学習による行動変化の基盤であることを見出した。これら分子の活性を人為的に変えることにより学習が変化する。

研究成果

• [雑誌論文] Neuronal sensorimotor integration guiding salt concentration navigation in Caenorhabditis elegans (2024)
  • 著者名/発表者名: Matsumoto, A., Toyoshima, Y., Zhang, C., Isozaki, A., Goda, K., and Iino, Y.
  • 雑誌名: Proceedings of the National Academy of Sciences 巻: 121 ページ: e2310735121
  • DOI: 10.1073/pnas.2310735121
  • 査読あり / オープンアクセス
• [雑誌論文] Ensemble dynamics and information flow deduction from whole-brain imaging data (2024)
  • 著者名/発表者名: Toyoshima, Y., Sato, H., Nagata, D., Kanamori, M., Jang, M.S., Kuze, K., Oe, S., Teramoto, T., Iwasaki, Y., Yoshida, R., Ishihara, T., Iino, Y.
  • 雑誌名: PLOS Computational Biology 巻: 20 ページ: e1011848
  • DOI: 10.1371/journal.pcbi.1011848
  • 査読あり / オープンアクセス
• [雑誌論文] Multiple p38/JNK mitogen-activated protein kinase (MAPK) signaling pathways mediate salt chemotaxis learning in C. elegans (2023)
  • 著者名/発表者名: Huang, T., Suzuki, K., Kunitomo, H., Tomioka, M., and Iino, Y.
  • 雑誌名: G3: Genes|Genomes|Genetics 巻: 13 ページ: jkad129
  • DOI: 10.1093/g3journal/jkad129
  • 査読あり / オープンアクセス
• [雑誌論文] Antagonistic regulation of salt and sugar chemotaxis plasticity by a single chemosensory neuron in Caenorhabditis elegans (2023)
  • 著者名/発表者名: Tomioka, M., Umemura, Y., Ueoka, Y., Chin, R., Katae, K., Uchiyama, C., Ike, Y., and Iino, Y.
  • 雑誌名: PLOS Genetics 巻: 19 ページ: e1010637
  • DOI: 10.1371/journal.pgen.1010637
  • 査読あり / オープンアクセス
• [雑誌論文] WormTensor: a clustering method for time-series whole-brain activity data from C. elegans (2023)
  • 著者名/発表者名: Tsuyuzaki, K., Yamamoto, K., Toyoshima, Y., Sato, H., Kanamori, M., Teramoto, T., Ishihara, T., Iino, Y., and Nikaido, I.
  • 雑誌名: BMC Bioinformatics 巻: 24 ページ: 254
  • DOI: 10.1186/s12859-023-05230-2
  • 査読あり / オープンアクセス
• [学会発表] Analysis of the decreased brain-wide neural correlations in aging C. elegans (2023)
  • 著者名/発表者名: 曾 敬萱
  • 学会等名: 線虫研究の未来を創る会2023
• [学会発表] The progeny of C.elegans that have been exposed to high salt conditions in its parent generation avoid high salt conditions (2023)
  • 著者名/発表者名: Manami Dote
  • 学会等名: 24th International C. elegans Conference
  • 国際学会
• [学会発表] Dye-uptake of amphid neurons enhances phototaxis behavior in a LITE-1 dependent manner (2023)
  • 著者名/発表者名: Hirofumi Kunitomo
  • 学会等名: 24th International C. elegans Conference
  • 国際学会
• [学会発表] Classification of C. elegans behaviors based on centroid movement and posture analyses (2023)
  • 著者名/発表者名: Yuichi Iino
  • 学会等名: 24th International C. elegans Conference
  • 国際学会
• [学会発表] 線虫C. elegansにおける糖濃度学習の機能解析 (2023)
  • 著者名/発表者名: 富永 慶子
  • 学会等名: 日本動物学会関東支部第75回大会国