2017 Fiscal Year Research-status Report
逆強化学習法による「動物の行動戦略を制御する神経基盤」の同定
| Project/Area Number |
16K16147
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
本田 直樹 京都大学, 生命科学研究科, 特定准教授 (30515581)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 行動戦略 / 機械学習 / 人工知能 / 逆強化学習 |
|---|
| Outline of Annual Research Achievements |
動物は生命維持や子孫繁栄のため、外界の状況に応じて、最も多くの報酬を得ることが期待される行動を選択すると考えられている。これまでの多くの研究では、特定の課題を動物に課し、研究目的に合わせて、動物が取れる行動や得られる報酬が人為的に設計されていた。一方で、自然な環境で自由に行動している動物を研究する場合、動物にとっての報酬が不明であることが問題であった。そこで本研究では、動物の行動時系列データから報酬に基づく行動戦略を同定する機械学習法（逆強化学習）を提案した。逆強化学習法の応用先として、線虫C. elegansの温度走性行動に注目した。一定の温度で餌を十分に与えて育成した線虫は、その育成温度を記憶し、温度勾配下では育成温度に移動する。一方で、一定の温度で餌を与えずに育成した線虫は、温度勾配下で育成温度を避けるようになる。まず始めに、温度勾配において大量の線虫をトラッキングすることで、行動時系列データを取得した。そして、そのデータを逆強化学習法に適用することで、線虫の報酬関数を推定した。その結果、餌を与えて育成した線虫の報酬は、「絶対温度」および「温度の時間微分」の関数になっていることが明らかとなった。一方で、飢餓状態で育成した線虫は「絶対温度」のみに依存した報酬関数を持つことが明らかとなった。さらには、推定された報酬を用いて、線虫行動のシミュレーションを行い、線虫の温度走性行動を再現できることを確認することで、逆強化学習法の妥当性を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
２８年度に開発した逆強化学習法を用いることで、線虫の温度走性における行動戦略を明らかにした。その成果を論文としてまとめ、現在専門学術誌へ投稿中であるが、掲載に時間がかかっている状況である。しかし、その過程で行なった追試によって、手法の妥当性を示すことができた。状況を鑑みて、推定した行動戦略と神経活動データとの比較解析は先送りにしている。これらの状況を総合して、「②おおむね順調に進展している」と判定した。
|
| Strategy for Future Research Activity |
研究成果として論文掲載を目指す。開発した手法を、線虫だけではなく、別の動物の行動データへの適用を目指す。２９年度での予備的な結果から、複数の行動モードを切り替える混合戦略の存在をデータから見出している。３０年度は当初計画に加えて、混合戦略を扱うことのできる手法の開発を目指す。また当初予定取り、行動戦略と神経活動との比較解析に向けた検討を行なう。
|
| Causes of Carryover |
予定していた国際会議に行かなかったため、また計算を既存のクラスター計算機で行ったことにより、次年度使用額が生じた。次年度は、高性能計算機を購入することで、研究の促進を図る。またあわせて、２９年度の成果を海外で広く発表することも検討する。
|
Research Products
(13 results)
-
-
-
[Journal Article] Discovery of long-range inhibitory signaling to ensure single axon formation2017
Author(s)
Tetsuya Takano, Mengya Wu, Shinichi Nakamuta, Honda Naoki, Naruki Ishizawa, Takashi Namba, Takashi Watanabe, Chundi Xu, Tomonari Hamaguchi, Yoshimitsu Yura, Mutsuki Amano, Klaus M. Hahn & Kozo Kaibuchi
-
Journal Title
Nature Communications
Volume: 8
Pages: 33
DOI
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
