Identification of neural basis of animal behavioral strategy by inverse reinforcement learning

2019 Fiscal Year Final Research Report

• Project/Area Number: 16K16147
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Life / Health / Medical informatics
• Research Institution: Kyoto University
• Principal Investigator: Honda Naoki 京都大学, 生命科学研究科, 准教授 (30515581)
• Project Period (FY): 2016-04-01 – 2020-03-31
• Keywords: 逆強化学習 / 機械学習 / 行動戦略 / 意志決定 / 線虫 / 報酬 / データ解析 / 数里モデル

Outline of Final Research Achievements

Animals adapt to the environments by acquiring behavioral strategies, which maximize cumulative rewards. However, method to quantify the behavioral strategies of free-living animals has not been fully established. Here, we developed the inverse reinforcement learning method to estimate the behavioral strategy as a value function from behavioral time-series data. By applying this method to the thermotaxis behavior of C. elegans, we successfully identified the behavioral strategy. Our method provides a fundamental technique for linking neural activity and its phenotypic behavioral strategies and can be expected to make a significant contribution to the elucidation of the neural mechanisms for the behavioral strategies.

Free Research Field

理論生物学

Academic Significance and Societal Importance of the Research Achievements

ヒトや動物は、より多くの報酬を得るため、状況に応じた「行動戦略」を持って生きている。報酬には食べ物やお金など実態の伴うものだけでなく、間接的にそれらに結びつくものも含まれており、自由に行動している動物を単に観察しているだけでは、「動物にとって何が報酬となっているのか？」を知ることは困難であった。そこで本研究では動物の行動データから報酬に基づく行動戦略を明らかにする機械学習法を考案した。そして、線虫の行動へと適用することで、手法の有効性を示した。本手法によって、従来の行動が制限された行動実験系から開放され、より自然な状況おいて自由に振る舞う動物の行動戦略の研究が進むことが期待される。