• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

マルチエージェント逆強化学習による動物の集団形成を制御する意思決定機構の解明

Research Project

Project/Area Number 22K15181
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 45040:Ecology and environment-related
Research InstitutionChiba University (2023)
Fujita Health University (2022)

Principal Investigator

佐藤 大気  千葉大学, 大学院理学研究院, 特任助教 (50912060)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Keywordsショウジョウバエ / トラッキング / 恐怖刺激 / 逆強化学習 / 集団行動 / 恐怖反応
Outline of Research at the Start

本研究では、視覚的な恐怖刺激を与えた際のキイロショウジョウバエの群れ行動から、逆強化学習を利用した報酬推定を行なうことで、恐怖刺激に晒された個体が周囲の他個体の存在に対してどのような価値判断を行なうのか、情動処理における個体と集団の双方向的フィードバックを明らかにする。また、多数の近交系統を用いて価値関数を比較するとともに、各系統のゲノム配列データを用いてゲノムワイド関連解析を行なうことで、集団形成の意思決定に関わる遺伝的基盤を解明する。

Outline of Annual Research Achievements

本研究では、①視覚的な恐怖刺激を与えた際のキイロショウジョウバエの群れ行動をトラッキングした上で、②逆強化学習を利用した報酬推定を行なうことで、恐怖刺激に晒された個体が周囲の他個体の存在に対してどのような価値判断を行なうのか、情動処理における個体と集団の双方向的フィードバックを明らかにする。また、③多数の近交系統を用いて価値関数を比較するとともに、各系統のゲノム配列データを用いてゲノムワイド関連解析を行なうことで、集団形成の意思決定に関わる遺伝的基盤を解明する。
本年度は、昨年度得たショウジョウバエの行動データについて、上記②マルチエージェント逆強化学習の実装に向けて、まず単独条件におけるトラッキングデータを用いて、個体の向きと速度という2パラメータについて状態空間を定義し、Maximum Entropy IRLを用いた逆強化学習を行なった。各個体・パラメータ空間について推定された報酬価に対して恐怖刺激の前後で差分を取り、主成分分析を行うことで、刺激に対する反応のパターンを定量した。するとPC1は概ね硬直・逃避行動を表し、PC2は刺激に対する体の向きを表した。各系統について、主成分スコアを表現型と定義し、分散分析により遺伝率を推定したところ、PCは64%と比較的高い値を示し、また独立に実験を行なっている雌雄間の表現型にも強い相関が見られたことから、遺伝的な基盤が想定された。そこで、次にゲノムワイド関連解析を行なったところ、神経機能に関わる遺伝子が数多く検出され、行動戦略に関わる興味深い候補遺伝子座を検出できたと考えている。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究計画通り、単独の個体における行動形質のパラメータ推定およびゲノムワイド関連解析は概ね成功している。本研究の核であるマルチエージェント系への拡張についても、トライアルを重ねており、来年度中に完成できると考えている。

Strategy for Future Research Activity

今後は、集団条件のトラッキングデータに対して、他個体の存在(他個体との平均距離や向き)をパラメータに組み込み、同時的に複数個体で報酬推定を行ない、マルチエージェント逆強化学習による行動の動機推定を目指す。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (8 results)

All 2024 2023 2022

All Journal Article (2 results) (of which Open Access: 1 results) Presentation (6 results) (of which Int'l Joint Research: 1 results,  Invited: 1 results)

  • [Journal Article] Neurogenomic diversity enhances collective antipredator performance in Drosophila.2024

    • Author(s)
      Sato D.X., Y. Takahashi
    • Journal Title

      bioRxiv

      Volume: 10.1101/2024.03.14.584951v1

    • Related Report
      2023 Research-status Report
  • [Journal Article] Applicability of Inverse Reinforcement Learning to Behavior Analysis of Drosophila melanogaster2022

    • Author(s)
      松田 一流, 荒井 幸代, 佐藤 大気, 高橋 佑磨
    • Journal Title

      Proceedings of the Annual Conference of JSAI

      Volume: JSAI2022 Issue: 0 Pages: 4L3GS1001-4L3GS1001

    • DOI

      10.11517/pjsai.JSAI2022.0_4L3GS1001

    • Related Report
      2022 Research-status Report
    • Open Access
  • [Presentation] ショウジョウバエの集団心理を制御するゲノム変異とその多様性2024

    • Author(s)
      佐藤大気
    • Organizer
      第71回生態学会大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 逆強化学習を用いたショウジョウバエの対捕食者行動における報酬推定とその遺伝基盤の解明2023

    • Author(s)
      佐藤大気, 松田一流, 荒井幸代, 高橋佑磨
    • Organizer
      日本進化学会第25回大会
    • Related Report
      2023 Research-status Report
  • [Presentation] Genetic diversity underlying social interaction of flies under threat2023

    • Author(s)
      佐藤大気, 高橋佑磨
    • Organizer
      日本分子生物学会第46回大会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] Genes underlying social collectives of flies under visual threat.2023

    • Author(s)
      Sato, D., Y. Takahashi
    • Organizer
      The 3rd AsiaEvo Conference
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] ショウジョウバエの集団行動に関わるゲノム基盤の解明2022

    • Author(s)
      佐藤大気, 高橋佑磨
    • Organizer
      日本進化学会第24回大会
    • Related Report
      2022 Research-status Report
  • [Presentation] ショウジョウバエの行動解析における逆強化学習の適用可能性2022

    • Author(s)
      松田一流, 荒井幸代, 佐藤大気, 高橋佑磨
    • Organizer
      第36回人工知能学会全国大会
    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi