• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

逆強化学習法による「動物の行動戦略を制御する神経基盤」の同定

Research Project

Project/Area Number 16K16147
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeMulti-year Fund
Research Field Life / Health / Medical informatics
Research InstitutionKyoto University

Principal Investigator

本田 直樹  京都大学, 生命科学研究科, 特定准教授 (30515581)

Project Period (FY) 2016-04-01 – 2020-03-31
Project Status Granted (Fiscal Year 2017)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2019: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2018: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2017: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2016: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Keywords行動戦略 / 機械学習 / 人工知能 / 逆強化学習 / 行動学 / 神経科学 / 制御工学 / 動物
Outline of Annual Research Achievements

動物は生命維持や子孫繁栄のため、外界の状況に応じて、最も多くの報酬を得ることが期待される行動を選択すると考えられている。これまでの多くの研究では、特定の課題を動物に課し、研究目的に合わせて、動物が取れる行動や得られる報酬が人為的に設計されていた。一方で、自然な環境で自由に行動している動物を研究する場合、動物にとっての報酬が不明であることが問題であった。そこで本研究では、動物の行動時系列データから報酬に基づく行動戦略を同定する機械学習法(逆強化学習)を提案した。逆強化学習法の応用先として、線虫C. elegansの温度走性行動に注目した。一定の温度で餌を十分に与えて育成した線虫は、その育成温度を記憶し、温度勾配下では育成温度に移動する。一方で、一定の温度で餌を与えずに育成した線虫は、温度勾配下で育成温度を避けるようになる。まず始めに、温度勾配において大量の線虫をトラッキングすることで、行動時系列データを取得した。そして、そのデータを逆強化学習法に適用することで、線虫の報酬関数を推定した。その結果、餌を与えて育成した線虫の報酬は、「絶対温度」および「温度の時間微分」の関数になっていることが明らかとなった。一方で、飢餓状態で育成した線虫は「絶対温度」のみに依存した報酬関数を持つことが明らかとなった。さらには、推定された報酬を用いて、線虫行動のシミュレーションを行い、線虫の温度走性行動を再現できることを確認することで、逆強化学習法の妥当性を示した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

28年度に開発した逆強化学習法を用いることで、線虫の温度走性における行動戦略を明らかにした。その成果を論文としてまとめ、現在専門学術誌へ投稿中であるが、掲載に時間がかかっている状況である。しかし、その過程で行なった追試によって、手法の妥当性を示すことができた。状況を鑑みて、推定した行動戦略と神経活動データとの比較解析は先送りにしている。これらの状況を総合して、「②おおむね順調に進展している」と判定した。

Strategy for Future Research Activity

研究成果として論文掲載を目指す。開発した手法を、線虫だけではなく、別の動物の行動データへの適用を目指す。29年度での予備的な結果から、複数の行動モードを切り替える混合戦略の存在をデータから見出している。30年度は当初計画に加えて、混合戦略を扱うことのできる手法の開発を目指す。また当初予定取り、行動戦略と神経活動との比較解析に向けた検討を行なう。

Report

(2 results)
  • 2017 Research-status Report
  • 2016 Research-status Report

Research Products

(20 results)

All 2018 2017 2016 Other

All Journal Article Presentation Book Remarks

  • [Journal Article] Time-lapse observation of stepwise regression of Erk activity in zebrafish presomitic mesoderm.2018

    • Author(s)
      Sari D., Akiyama R., Naoki H., Ishijima H., Bessho Y., and Matsui T.
    • Journal Title

      Scientific Reports

      Volume: 8 Pages: 4335-4335

    • DOI
      10.1038/s41598-018-22619-9
    • NAID
      120006517802
    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Identification of Animal Behavioral Strategies by Inverse Reinforcement Learning2017

    • Author(s)
      Yamaguchi S, Honda N, Ikeda M, Tsukada Y, Nakano S, Mori I and Ishii S
    • Journal Title

      Cold Spring Harbor Laboratory bioRxiv

      Volume: 129007 Pages: 129007-129007

    • DOI
      10.1101/129007
    • NAID
      120006469168
    • Related Report
      2017 Research-status Report
    • Open Access
  • [Journal Article] Discovery of long-range inhibitory signaling to ensure single axon formation2017

    • Author(s)
      Takano Tetsuya、Wu Mengya、Nakamuta Shinichi、Naoki Honda、Ishizawa Naruki、Namba Takashi、Watanabe Takashi、Xu Chundi、Hamaguchi Tomonari、Yura Yoshimitsu、Amano Mutsuki、Hahn Klaus M.、Kaibuchi Kozo
    • Journal Title

      Nature Communications

      Volume: 8 Pages: 33-33

    • DOI
      10.1038/s41467-017-00044-2
    • NAID
      120006325188
    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Revisiting chemoaffinity theory: Chemotactic implementation of topographic axonal projection2017

    • Author(s)
      Honda Naoki
    • Journal Title

      PLoS Computational Biology

      Volume: 13 Pages: 8-8

    • DOI
      10.1371/journal.pcbi.1005702
    • NAID
      120006360789
    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Propagating wave of ERK activation orients collective cell migration.2017

    • Author(s)
      Aoki Kazuhiro、Kondo Yohei、Naoki Honda、Hiratsuka Toru、Itoh Reina E.、Matsuda Michiyuki
    • Journal Title

      Developmental Cell

      Volume: 43

    • DOI
      10.1016/j.devcel.2017.10.016
    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Nonrandom contribution of left and right testes to gremline transmission from mouse spermatogonial stem cells.2017

    • Author(s)
      Mito Kanatsu-Shinohara, Honda Naoki, Takashi Shinohara
    • Journal Title

      Biol. Reprod.

      Volume: 97(6) Pages: 902-910

    • DOI
      10.1093/biolre/iox141
    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] Self-organization mechanism of distinct microtubule orientations in axons and dendrites2017

    • Author(s)
      Honda Naoki, Katsuhiro Uegaki, Shin Ishii
    • Journal Title

      bioRxiv

      Volume: 163014 Pages: 1-18

    • DOI
      10.1101/163014
    • Related Report
      2017 Research-status Report
    • Open Access
  • [Journal Article] Nonrandom Germline Transmission of Mouse Spermatogonial Stem Cells.2016

    • Author(s)
      Kanatsu-Shinohara M., Naoki H., Shinohara T.
    • Journal Title

      Dev Cell.

      Volume: 38 (3) Pages: 248-261

    • DOI
      10.1016/j.devcel.2016.07.011
    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
  • [Journal Article] Uncertainty-dependent Extinction of Fear Memory in an Amygdala-mPFC Neural Circuit Model.2016

    • Author(s)
      Yuzhe Li, Ken Nakae, Shin Ishii, Honda Naoki
    • Journal Title

      PLoS Computational Biology

      Volume: 12 (9)

    • DOI
      10.1371/journal.pcbi.1005099
    • NAID
      120005853243
    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research / Acknowledgement Compliant
  • [Journal Article] Two new FRET imaging measures: linearly proportional to and highly contrasting the fraction of active molecules.2016

    • Author(s)
      Yamao M, Aoki K, Yukinawa N, Ishii S, Matsuda M, Naoki H.
    • Journal Title

      PLoS ONE

      Volume: 11

    • DOI
      10.1371/journal.pone.0164254
    • NAID
      120005853281
    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Multi-phasic bi-directional chemotactic responses of the growth cone.2016

    • Author(s)
      Naoki H, Nishiyama M, Togashi K, Igarashi Y, Hong K and Ishii S
    • Journal Title

      Scientific Reports

      Volume: 6 Pages: 36256-36256

    • DOI
      10.1038/srep36256
    • NAID
      120005890313
    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Chemotactic mechanism for topographic map formation2017

    • Author(s)
      Honda Naoki
    • Organizer
      日本神経科学大会
    • Related Report
      2017 Research-status Report
  • [Presentation] Chemotactic implementation of topographic map formation2017

    • Author(s)
      Honda Naoki
    • Organizer
      日本神経回路学会全国大会
    • Related Report
      2017 Research-status Report
  • [Presentation] トポグラフィックな神経軸索投射の走化性メカニズム2017

    • Author(s)
      本田 直樹
    • Organizer
      日本数理生物学会年会
    • Related Report
      2017 Research-status Report
  • [Presentation] Behavioral analysis of C. elegans by inverse reinforcement learning.2016

    • Author(s)
      Yamaguchi S, Ikeda M, Nakano S, Mori I, Ishii S and Naoki H
    • Organizer
      International Conference on Systems Biology
    • Place of Presentation
      Barcelona, Spain
    • Year and Date
      2016-09-16
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] New measures in FRET imaging2016

    • Author(s)
      Naoki H and Yamao M
    • Organizer
      International Conference on Systems Biology
    • Place of Presentation
      Barcelona, Spain
    • Year and Date
      2016-09-16
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] Decoding of intracellular signal transfer from FRET imaging: distinct functions of Rac1 and Cdc42 in cell migration, The 11th AIMS Conference on Dynamical Systems, Differential Equations and Applications2016

    • Author(s)
      Naoki H, Yamao M, Ishii S
    • Organizer
      The 11th AIMS Conference on Dynamical Systems, Differential Equations and Applications
    • Place of Presentation
      Orland, USA
    • Year and Date
      2016-07-01
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research / Invited
  • [Book] AI導入によるバイオテクノロジーの発展2018

    • Author(s)
      本田直樹(共著)
    • Total Pages
      234
    • Publisher
      シーエムシー出版
    • Related Report
      2017 Research-status Report
  • [Book] 実験医学2017年5月号2017

    • Author(s)
      篠原美都, 本田直樹, 篠原隆司
    • Total Pages
      141
    • Publisher
      羊土社
    • Related Report
      2017 Research-status Report
  • [Remarks] 理論生物学分野

    • URL
      https://sites.google.com/view/theoretical-biology/
    • Related Report
      2017 Research-status Report

URL: 

Published: 2016-04-21   Modified: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi