• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実施状況報告書

逆強化学習法による「動物の行動戦略を制御する神経基盤」の同定

研究課題

研究課題/領域番号 16K16147
研究機関京都大学

研究代表者

本田 直樹  京都大学, 生命科学研究科, 特定准教授 (30515581)

研究期間 (年度) 2016-04-01 – 2020-03-31
キーワード行動戦略 / 機械学習 / 人工知能 / 逆強化学習
研究実績の概要

動物は生命維持や子孫繁栄のため、外界の状況に応じて、最も多くの報酬を得ることが期待される行動を選択すると考えられている。これまでの多くの研究では、特定の課題を動物に課し、研究目的に合わせて、動物が取れる行動や得られる報酬が人為的に設計されていた。一方で、自然な環境で自由に行動している動物を研究する場合、動物にとっての報酬が不明であることが問題であった。そこで本研究では、動物の行動時系列データから報酬に基づく行動戦略を同定する機械学習法(逆強化学習)を提案した。逆強化学習法の応用先として、線虫C. elegansの温度走性行動に注目した。一定の温度で餌を十分に与えて育成した線虫は、その育成温度を記憶し、温度勾配下では育成温度に移動する。一方で、一定の温度で餌を与えずに育成した線虫は、温度勾配下で育成温度を避けるようになる。まず始めに、温度勾配において大量の線虫をトラッキングすることで、行動時系列データを取得した。そして、そのデータを逆強化学習法に適用することで、線虫の報酬関数を推定した。その結果、餌を与えて育成した線虫の報酬は、「絶対温度」および「温度の時間微分」の関数になっていることが明らかとなった。一方で、飢餓状態で育成した線虫は「絶対温度」のみに依存した報酬関数を持つことが明らかとなった。さらには、推定された報酬を用いて、線虫行動のシミュレーションを行い、線虫の温度走性行動を再現できることを確認することで、逆強化学習法の妥当性を示した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

28年度に開発した逆強化学習法を用いることで、線虫の温度走性における行動戦略を明らかにした。その成果を論文としてまとめ、現在専門学術誌へ投稿中であるが、掲載に時間がかかっている状況である。しかし、その過程で行なった追試によって、手法の妥当性を示すことができた。状況を鑑みて、推定した行動戦略と神経活動データとの比較解析は先送りにしている。これらの状況を総合して、「②おおむね順調に進展している」と判定した。

今後の研究の推進方策

研究成果として論文掲載を目指す。開発した手法を、線虫だけではなく、別の動物の行動データへの適用を目指す。29年度での予備的な結果から、複数の行動モードを切り替える混合戦略の存在をデータから見出している。30年度は当初計画に加えて、混合戦略を扱うことのできる手法の開発を目指す。また当初予定取り、行動戦略と神経活動との比較解析に向けた検討を行なう。

次年度使用額が生じた理由

予定していた国際会議に行かなかったため、また計算を既存のクラスター計算機で行ったことにより、次年度使用額が生じた。次年度は、高性能計算機を購入することで、研究の促進を図る。またあわせて、29年度の成果を海外で広く発表することも検討する。

  • 研究成果

    (13件)

すべて 2018 2017 その他

すべて 雑誌論文 (7件) (うち国際共著 2件、 オープンアクセス 5件、 査読あり 5件) 学会発表 (3件) 図書 (2件) 備考 (1件)

  • [雑誌論文] Time-lapse observation of stepwise regression of Erk activity in zebrafish presomitic mesoderm.2018

    • 著者名/発表者名
      Dini Wahyu Kartika Sari, Ryutaro Akiyama, Honda Naoki, Hannosuke Ishijima, Yasumasa Bessho & Takaaki Matsui
    • 雑誌名

      Scientific Reports

      巻: 8 ページ: 4335

    • DOI

      10.1038/s41598-018-22619-9

    • 査読あり / オープンアクセス
  • [雑誌論文] Identification of animal behavioral strategies by inverse reinforcement learning.2017

    • 著者名/発表者名
      Shoichiro Yamaguchi, Honda Naoki, Muneki Ikeda, Yuki Tsukada, Shunji Nakano, Ikue Mori, Shin Ishii
    • 雑誌名

      bioRxiv

      巻: 129007 ページ: 1-31

    • DOI

      10.1101/129007

    • オープンアクセス
  • [雑誌論文] Discovery of long-range inhibitory signaling to ensure single axon formation2017

    • 著者名/発表者名
      Tetsuya Takano, Mengya Wu, Shinichi Nakamuta, Honda Naoki, Naruki Ishizawa, Takashi Namba, Takashi Watanabe, Chundi Xu, Tomonari Hamaguchi, Yoshimitsu Yura, Mutsuki Amano, Klaus M. Hahn & Kozo Kaibuchi
    • 雑誌名

      Nature Communications

      巻: 8 ページ: 33

    • DOI

      10.1038/s41467-017-00044-2

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Revisiting chemoaffinity theory: Chemotactic implementation of topographic axonal projection2017

    • 著者名/発表者名
      Honda Naoki
    • 雑誌名

      PLoS Computational Biology

      巻: 13 ページ: 8

    • DOI

      10.1371/journal.pcbi.1005702

    • 査読あり / オープンアクセス
  • [雑誌論文] Propagating wave of ERK activation orients collective cell migration.2017

    • 著者名/発表者名
      Aoki K, Kondo Y, Honda N, Hiratsuka T, Ito RE and Matsuda M
    • 雑誌名

      Developmental Cell

      巻: 43 ページ: 305–317

    • DOI

      10.1016/j.devcel.2017.10.016

    • 査読あり / 国際共著
  • [雑誌論文] Nonrandom contribution of left and right testes to germline transmission from mouse spermatogonial stem cells2017

    • 著者名/発表者名
      Mito Kanatsu-Shinohara, Honda Naoki, Takashi Shinohara
    • 雑誌名

      Biology of Reproduction

      巻: 97(6) ページ: 902-910

    • DOI

      10.1093/biolre/iox141

    • 査読あり
  • [雑誌論文] Self-organization mechanism of distinct microtubule orientations in axons and dendrites2017

    • 著者名/発表者名
      Honda Naoki, Katsuhiro Uegaki, Shin Ishii
    • 雑誌名

      bioRxiv

      巻: 163014 ページ: 1-18

    • DOI

      10.1101/163014

    • オープンアクセス
  • [学会発表] Chemotactic mechanism for topographic map formation2017

    • 著者名/発表者名
      Honda Naoki
    • 学会等名
      日本神経科学大会
  • [学会発表] Chemotactic implementation of topographic map formation2017

    • 著者名/発表者名
      Honda Naoki
    • 学会等名
      日本神経回路学会全国大会
  • [学会発表] トポグラフィックな神経軸索投射の走化性メカニズム2017

    • 著者名/発表者名
      本田 直樹
    • 学会等名
      日本数理生物学会年会
  • [図書] AI導入によるバイオテクノロジーの発展2018

    • 著者名/発表者名
      本田直樹(共著)
    • 総ページ数
      234
    • 出版者
      シーエムシー出版
    • ISBN
      978-4-7813-1315-3
  • [図書] 実験医学2017年5月号2017

    • 著者名/発表者名
      篠原美都, 本田直樹, 篠原隆司
    • 総ページ数
      141
    • 出版者
      羊土社
    • ISBN
      978-4-7581-0163-9
  • [備考] 理論生物学分野

    • URL

      https://sites.google.com/view/theoretical-biology/

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi