• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

逆強化学習法による「動物の行動戦略を制御する神経基盤」の同定

研究課題

研究課題/領域番号 16K16147
研究種目

若手研究(B)

配分区分基金
研究分野 生命・健康・医療情報学
研究機関京都大学

研究代表者

本田 直樹  京都大学, 生命科学研究科, 准教授 (30515581)

研究期間 (年度) 2016-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2019年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2018年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2017年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2016年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
キーワード逆強化学習 / 機械学習 / 行動戦略 / 意志決定 / 線虫 / 報酬 / データ解析 / 数里モデル / 数理モデル / 人工知能 / 行動学 / 神経科学 / 制御工学 / 動物
研究成果の概要

動物は状況に応じて、より多くの報酬が期待できる行動戦略を獲得することで、環境に適応する。しかしながら、自由行動下の動物が持つ行動戦略を定量化する手法は確立していなかった。そこで本研究では、動物の行動時系列データの背後にある行動戦略を価値関数として推定する逆強化学習法を考案した。そして、線虫の温度走性行動へと適用することで、線虫が持つ行動戦略を明らかにすることに成功した。本手法は神経活動とその表現形である行動戦略をつなぐ基盤技術を提供するもので、今後、動物の行動戦略を司る神経メカニズムの解明に大きく貢献することが期待される。

研究成果の学術的意義や社会的意義

ヒトや動物は、より多くの報酬を得るため、状況に応じた「行動戦略」を持って生きている。報酬には食べ物やお金など実態の伴うものだけでなく、間接的にそれらに結びつくものも含まれており、自由に行動している動物を単に観察しているだけでは、「動物にとって何が報酬となっているのか?」を知ることは困難であった。そこで本研究では動物の行動データから報酬に基づく行動戦略を明らかにする機械学習法を考案した。そして、線虫の行動へと適用することで、手法の有効性を示した。本手法によって、従来の行動が制限された行動実験系から開放され、より自然な状況おいて自由に振る舞う動物の行動戦略の研究が進むことが期待される。

報告書

(5件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (31件)

すべて 2019 2018 2017 2016 その他

すべて 雑誌論文 (13件) (うち国際共著 10件、 査読あり 11件、 オープンアクセス 10件、 謝辞記載あり 2件) 学会発表 (15件) (うち国際学会 7件、 招待講演 6件) 図書 (2件) 備考 (1件)

  • [雑誌論文] Noise-resistant developmental reproducibility in vertebrate somite formation2019

    • 著者名/発表者名
      Honda N*, Akiyama R, Sari DWK, Ishii S, Bessho Y and Matsui T
    • 雑誌名

      PLoS Computational Biology

      巻: 15(2) 号: 2 ページ: e1006579-e1006579

    • DOI

      10.1371/journal.pcbi.1006579

    • NAID

      120006553009

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Identification of animal behavioral strategies by inverse reinforcement learning.2018

    • 著者名/発表者名
      Yamaguchi S, Honda N*, Ikeda M, Tsukada Y, Nakano S, Mori I and Ishii S
    • 雑誌名

      PLoS Computational Biology

      巻: 14(5) 号: 5 ページ: e1006122-e1006122

    • DOI

      10.1371/journal.pcbi.1006122

    • NAID

      120006469168

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Time-lapse observation of stepwise regression of Erk activity in zebrafish presomitic mesoderm.2018

    • 著者名/発表者名
      Sari DWK, Akiyama R, Naoki H, Ishijima H, Bessho Y, Matsui T
    • 雑誌名

      Scientific Reports

      巻: 8 号: 1 ページ: 4335-4335

    • DOI

      10.1038/s41598-018-22619-9

    • NAID

      120006555360

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Identification of animal behavioral strategies by inverse reinforcement learning2017

    • 著者名/発表者名
      Yamaguchi S, Honda N, Ikeda M, Tsukada Y, Nakano S, Mori I and Ishii S
    • 雑誌名

      bioRxiv

      巻: 129007 ページ: 129007-129007

    • DOI

      10.1101/129007

    • NAID

      120006469168

    • 関連する報告書
      2017 実施状況報告書
    • オープンアクセス / 国際共著
  • [雑誌論文] Discovery of long-range inhibitory signaling to ensure single axon formation2017

    • 著者名/発表者名
      Takano Tetsuya、Wu Mengya、Nakamuta Shinichi、Naoki Honda、Ishizawa Naruki、Namba Takashi、Watanabe Takashi、Xu Chundi、Hamaguchi Tomonari、Yura Yoshimitsu、Amano Mutsuki、Hahn Klaus M.、Kaibuchi Kozo
    • 雑誌名

      Nature Communications

      巻: 8 号: 1 ページ: 33-33

    • DOI

      10.1038/s41467-017-00044-2

    • NAID

      120006325188

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Revisiting chemoaffinity theory: Chemotactic implementation of topographic axonal projection2017

    • 著者名/発表者名
      Honda Naoki
    • 雑誌名

      PLoS Computational Biology

      巻: 13 号: 8 ページ: 8-8

    • DOI

      10.1371/journal.pcbi.1005702

    • NAID

      120006360789

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Propagating Wave of ERK Activation Orients Collective Cell Migration2017

    • 著者名/発表者名
      Aoki Kazuhiro、Kondo Yohei、Naoki Honda、Hiratsuka Toru、Itoh Reina E.、Matsuda Michiyuki
    • 雑誌名

      Developmental Cell

      巻: 43 号: 3 ページ: 305-317.e5

    • DOI

      10.1016/j.devcel.2017.10.016

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Nonrandom contribution of left and right testes to germline transmission from mouse spermatogonial stem cells2017

    • 著者名/発表者名
      Mito Kanatsu-Shinohara, Honda Naoki, Takashi Shinohara
    • 雑誌名

      Biology of Reproduction

      巻: 97(6) 号: 6 ページ: 902-910

    • DOI

      10.1093/biolre/iox141

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Self-organization mechanism of distinct microtubule orientations in axons and dendrites2017

    • 著者名/発表者名
      Honda Naoki, Katsuhiro Uegaki, Shin Ishii
    • 雑誌名

      bioRxiv

      巻: 163014 ページ: 1-18

    • DOI

      10.1101/163014

    • 関連する報告書
      2017 実施状況報告書
    • オープンアクセス
  • [雑誌論文] Nonrandom germline transmission of mouse spermatogonial stem cells.2016

    • 著者名/発表者名
      Kanatsu-Shinohara M., Naoki H., Shinohara T.
    • 雑誌名

      Dev Cell

      巻: 38 (3) 号: 3 ページ: 248-261

    • DOI

      10.1016/j.devcel.2016.07.011

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Uncertainty-Dependent Extinction of Fear Memory in an Amygdala-mPFC Neural Circuit Model2016

    • 著者名/発表者名
      Yuzhe Li, Ken Nakae, Shin Ishii, Honda Naoki
    • 雑誌名

      PLoS Comput Biol

      巻: 12 (9) 号: 9 ページ: e1005099-e1005099

    • DOI

      10.1371/journal.pcbi.1005099

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
  • [雑誌論文] Two New FRET Imaging Measures: Linearly Proportional to and Highly Contrasting the Fraction of Active Molecules.2016

    • 著者名/発表者名
      Yamao M, Aoki K, Yukinawa N, Ishii S, Matsuda M, Naoki H.
    • 雑誌名

      PLoS One

      巻: 11 号: 10 ページ: e0164254-e0164254

    • DOI

      10.1371/journal.pone.0164254

    • NAID

      120005853281

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Multi-phasic bi-directional chemotactic responses of the growth cone.2016

    • 著者名/発表者名
      Naoki H, Nishiyama M, Togashi K, Igarashi Y, Hong K and Ishii S
    • 雑誌名

      Scientific Reports

      巻: 6 号: 1 ページ: 36256-36256

    • DOI

      10.1038/srep36256

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Deciphering animal behavioral strategy by inverse reinforcement learning2019

    • 著者名/発表者名
      Honda Naoki
    • 学会等名
      2019 A3 Workshop on Mathematical Life Science
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 逆強化学習による動物行動戦略の解読2019

    • 著者名/発表者名
      本田直樹
    • 学会等名
      生理研研究会2019 認知神経科学の先端「脳の理論から身体・世界へ」
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 逆強化学習による「動物の行動戦略」のデータ駆動的解読2019

    • 著者名/発表者名
      本田直樹
    • 学会等名
      生物工学会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Identification of animal behavioral strategy by inverse reinforcement learning2019

    • 著者名/発表者名
      Honda Naoki
    • 学会等名
      International Conference of Systems Biology
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Identification of animal behavioral and learning principles by inverse reinforcement learning.2019

    • 著者名/発表者名
      Honda Naoki
    • 学会等名
      NSI workshop 2019 ~Neural Mechanisms underlying Behavior~
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Inverse Reinforcement Learning and Active Inference in Gradient Sensing Behavior2019

    • 著者名/発表者名
      Honda Naoki
    • 学会等名
      Computational Principles in Active Perception and Reinforcement Learning in the Brain
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Identification of Animal Behavioral Strategies by Inverse Reinforcement Learning2018

    • 著者名/発表者名
      Naoki Honda
    • 学会等名
      神経科学会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Identification of Animal Behavioral Strategies by Inverse Reinforcement Learning2018

    • 著者名/発表者名
      本田直樹
    • 学会等名
      Mortor Contol研究会
    • 関連する報告書
      2018 実施状況報告書
    • 招待講演
  • [学会発表] 動物の行動戦略を解読する逆強化学習~線虫行動への応用~2018

    • 著者名/発表者名
      本田直樹、池田宗樹
    • 学会等名
      定量生物学の会
    • 関連する報告書
      2018 実施状況報告書
    • 招待講演
  • [学会発表] Chemotactic mechanism for topographic map formation2017

    • 著者名/発表者名
      Honda Naoki
    • 学会等名
      日本神経科学大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Chemotactic implementation of topographic map formation2017

    • 著者名/発表者名
      Honda Naoki
    • 学会等名
      日本神経回路学会全国大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] トポグラフィックな神経軸索投射の走化性メカニズム2017

    • 著者名/発表者名
      本田 直樹
    • 学会等名
      日本数理生物学会年会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Behavioral analysis of C. elegans by inverse reinforcement learning.2016

    • 著者名/発表者名
      Yamaguchi S, Ikeda M, Nakano S, Mori I, Ishii S and Naoki H
    • 学会等名
      International Conference on Systems Biology
    • 発表場所
      Barcelona, Spain
    • 年月日
      2016-09-16
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] New measures in FRET imaging2016

    • 著者名/発表者名
      Naoki H and Yamao M
    • 学会等名
      International Conference on Systems Biology
    • 発表場所
      Barcelona, Spain
    • 年月日
      2016-09-16
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Decoding of intracellular signal transfer from FRET imaging: distinct functions of Rac1 and Cdc42 in cell migration, The 11th AIMS Conference on Dynamical Systems, Differential Equations and Applications2016

    • 著者名/発表者名
      Naoki H, Yamao M, Ishii S
    • 学会等名
      The 11th AIMS Conference on Dynamical Systems, Differential Equations and Applications
    • 発表場所
      Orland, USA
    • 年月日
      2016-07-01
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会 / 招待講演
  • [図書] AI導入によるバイオテクノロジーの発展2018

    • 著者名/発表者名
      本田直樹(共著)
    • 総ページ数
      234
    • 出版者
      シーエムシー出版
    • ISBN
      9784781313153
    • 関連する報告書
      2017 実施状況報告書
  • [図書] 実験医学2017年5月号2017

    • 著者名/発表者名
      篠原美都, 本田直樹, 篠原隆司
    • 総ページ数
      141
    • 出版者
      羊土社
    • ISBN
      9784758101639
    • 関連する報告書
      2017 実施状況報告書
  • [備考] 理論生物学分野

    • URL

      https://sites.google.com/view/theoretical-biology/

    • 関連する報告書
      2018 実施状況報告書 2017 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi