Data-Driven Swarm-Machine Interaction

• Project Area: Hierarchical Bio-Navigation Integrating Cyber-Physical Space
• Project/Area Number: 21H05302
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: University of Hyogo
• Principal Investigator: 川嶋 宏彰 兵庫県立大学, 情報科学研究科, 教授 (40346101)
• Co-Investigator(Kenkyū-buntansha): 波部 斉 近畿大学, 情報学部, 教授 (80346072) ; 新里 高行 筑波大学, システム情報系, 准教授 (00700163)
• Project Period (FY): 2021-09-10 – 2026-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥83,460,000 (Direct Cost: ¥64,200,000、Indirect Cost: ¥19,260,000); Fiscal Year 2025: ¥14,950,000 (Direct Cost: ¥11,500,000、Indirect Cost: ¥3,450,000); Fiscal Year 2024: ¥16,380,000 (Direct Cost: ¥12,600,000、Indirect Cost: ¥3,780,000); Fiscal Year 2023: ¥16,770,000 (Direct Cost: ¥12,900,000、Indirect Cost: ¥3,870,000); Fiscal Year 2022: ¥19,110,000 (Direct Cost: ¥14,700,000、Indirect Cost: ¥4,410,000); Fiscal Year 2021: ¥16,250,000 (Direct Cost: ¥12,500,000、Indirect Cost: ¥3,750,000)
• Keywords: 魚群計測 / 群モデリング / 映像刺激提示 / 環境型χログボット / 行動ダイアグラム / 魚群追跡 / 群泳行動モデル / 個体間相互作用推定 / 視覚刺激提示

Outline of Research at the Start

魚類をはじめとする生物のインタラクション（個体間相互作用）のモデルを計測データから獲得し、さらに実際に生物群へ介入して検証を行うことで、群知能を支える群れ内部の動的な因果構造や社会構造の解明を目指す。本研究では、フィジカル空間における計測と介入、およびサイバー空間における計測結果からのモデリングや介入方策決定を密に結合させたフィードバック・ループの枠組みを設計し、実際のシステムとして構築することを目的とする。主に魚群に対し、詳細なインタラクションモデルをデータ駆動で学習するとともに、各種の生物群でモデリング技術の汎用性を検証する。

Outline of Annual Research Achievements

本課題の目的である，魚群や様々な種の生物におけるデータ駆動型インタラクション・モデリング技術を開発するために，2023年度は，2022年度までに開発および整備した群れの相互作用モデルや追跡手法，実験環境を拡張させるとともに，領域内の共同研究によりその応用可能性の検証を行った．具体的には次の通りである．
1. 昨年度開発した個体間相互作用のネットワーク推定手法を発展させ，他個体との協調項を，アトラクション項とアラインメント項に分離できる手法を開発した．これにより，並進する個体間関係の自然なモデル化が可能になった．
2. 統合情報理論を用いたアユの群れのダイナミクス分析により，局所的な臨界現象の特定が可能となり，群れ内でハブとなる個体が他の個体からの影響を受けにくいことを見出した．これは，ハブ個体が群れ内での情報の媒介者として機能している可能性を示唆している．また，拍手の同期現象を通じて集団内の時間統合窓に関する洞察を行い，集団内で個人が「同時である」と感じる時間幅が，グループサイズに比例して増加することを明らかにした．
3. 魚群の高精度な個体追跡を実現するために，断片的な移動軌跡（トラックレット）を対応付けてより長い時間での移動情報を獲得する手法，および体軸推定を用いる手法を開発した．
4. アユが異なる光環境（色）において集団ダイナミクスに顕著な違いがあることを発見した．本研究は，魚の群れのナビゲーションメカニズムを理解する上で重要な視点を提供する可能性がある．
5. 公募研究・岸田班との連携により，エゾアカガエル幼生の形態的表現型の誘導（形状の違い）と遊泳特性との関係を，画像を入力とした個体の姿勢追跡を通じて定量化する手法を開発した．

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本研究課題の目的である，データ駆動型のSwarm-Machineインタラクション構築に必要な構成要素として，2022年度までに開発した手法を発展させ，頑健性の高い個体追跡手法や，統合情報理論を用いた群れのダイナミクス分析のモデリング，光環境（色）やプロジェクターを用いた介入実験の整備などが順調に進んでいる．さらに，モデリングでは魚種だけでなく人の集団相互作用までを扱う数理モデルを開発し，群れの計測や行動の定量化については，公募研究との共同研究でもその応用可能性を示すなど，当初の計画以上進捗しているといえる．

Strategy for Future Research Activity

2024年度以降は，2023度に開発および整備した手法や実験環境を引き続き発展させながら，特に以下の点について研究を推進する．
(1) 昨年度までに開発した魚群の個体間相互作用推定とその動的変化とを統合的にモデル化する手法を開発することで，介入方策との統合を目指す．
(2) 領域内の共同研究を進め，群れの記述手法などの応用可能性を，ショウジョウバエやアリをはじめとする様々な生物種で検証する．
(3) 集団相互作用における新たな数理モデルを発展させ，群れや集団内での情報の流れを説明するとともに，魚群や人など様々な生物種に応用可能であることを示す．
(4) 個体追跡手法の高精度化を引き続き行うとともに，介入実験に用いるためのリアルタイム性を向上させる．
(5) 主に魚群を対象とした介入実験を進め，データ駆動型Swarm-Machineインタラクション技術の基盤を構築する．

Research Products

• [Journal Article] Functional duality in group criticality via ambiguous interactions (2023)
  • Author(s): Takayuki Niizato, Hisashi Murakami, Takuya Musha
  • Journal Title: PLOS Computational Biology Volume: - Issue: 2 Pages: e1010869-e1010869
  • DOI: 10.1371/journal.pcbi.1010869
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] 群れの中の浮動的知性 (2022)
  • Author(s): 新里高行
  • Journal Title: Journal of the Japanese Society for Artificial Intelligence Volume: 37 Issue: 6 Pages: 716-720
  • DOI: 10.11517/jjsai.37.6_716
  • ISSN: 2188-2266, 2435-8614
  • Year and Date: 2022-11-01
  • Peer Reviewed
• [Journal Article] The ambiguous feeling between “mine” and “not-mine” measured by integrated information theory during rubber hand illusion (2022)
  • Author(s): Niizato Takayuki、Nishiyama Yuta、Sakamoto Kotaro、Kazama Takumi、Okabayashi Tatsuya、Yamaguchi Taiki
  • Journal Title: Scientific Reports Volume: 12 Issue: 1 Pages: 18002-18002
  • DOI: 10.1038/s41598-022-22927-1
  • Peer Reviewed / Open Access
• [Presentation] マルチエージェント強化学習を用いた効率的未踏領域探査のための共有情報の比較 (2024)
  • Author(s): 野中和典，川嶋宏彰
  • Organizer: 情報処理学会第86回全国大会
• [Presentation] 深層強化学習を用いたバドミントンダブルスのフォーメーション評価 (2024)
  • Author(s): 中原永登，川嶋宏彰
  • Organizer: 情報処理学会第86回全国大会
• [Presentation] カメラ映像を用いた高速で飛翔するコウモリの検出・追跡 (2024)
  • Author(s): 杉本 翔, 牛尾和嵯, 杉森僚太, 藤岡慧明, 川嶋宏彰, 飛龍志津子, 波部斉
  • Organizer: 情報処理学会第86回全国大会
• [Presentation] カメラを用いた水路を流れる養殖魚の尾数計測 (2024)
  • Author(s): 西口正倫, 波部斉, 阿部孝司, 大谷雅之, 井口信和
  • Organizer: 情報処理学会第86回全国大会
• [Presentation] 大域的な対応付け最適化による魚の複数個体追跡 (2024)
  • Author(s): 村上友一，新里高行，川嶋宏彰，波部斉
  • Organizer: 情報処理学会第86回全国大会
• [Presentation] 魚同士の重なり判定の改良による高精度複数個体追跡 (2024)
  • Author(s): 三宅奏壱朗，新里高行，川嶋宏彰，波部斉
  • Organizer: 情報処理学会第86回全国大会
• [Presentation] 複数のオタマジャクシ表現型における遊泳特性の違い (2024)
  • Author(s): 松浦なる, Raj Rajeshwar Malinda, 川嶋宏彰, 岸田治
  • Organizer: 日本生態学会第71回全国大会
• [Presentation] ヒトの拍手同期時の人数と拍手速度に関する研究 (2023)
  • Author(s): 小池由佳, 西山雄太, 新里高行
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会
• [Presentation] 多様な光環境下における鮎の群れに対する交差時個体検出アルゴリズムの研究 (2023)
  • Author(s): 米川泰斗, 田頭建佑, 川嶋宏彰, 波部斉, 新里高行
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会
• [Presentation] 深層学習を用いた交差時における魚の姿勢推定 (2023)
  • Author(s): 田頭建佑, 川嶋宏彰，波部斎，米川泰斗，新里高行
  • Organizer: 第24回計測自動制御学会システムインテグレーション部門講演会
• [Presentation] オートエンコーダーの混合モデルを用いた魚群追跡 (2023)
  • Author(s): 芝山高翔，新里高行，波部斉，川嶋宏彰
  • Organizer: 情報処理学会全国大会（第85回）
• [Presentation] 魚の群行動解析のための隠蔽前後のトラックレットの対応付け (2023)
  • Author(s): 村上友一，新里高行，川嶋宏彰，波部斉
  • Organizer: 情報処理学会全国大会（第85回）
• [Presentation] 複雑背景下で高速に飛翔するコウモリの検出と追跡 (2023)
  • Author(s): 杉本翔，牛尾和嵯，杉森僚太，藤岡慧明，川嶋宏彰，飛龍志津子，波部斉
  • Organizer: 情報処理学会全国大会（第85回）
• [Presentation] Detection and Tracking of Flying Small Bats under Complex Backgrounds (2023)
  • Author(s): Kakeru Sugimoto, Kazusa Ushio, Ryota Sugimori, Emyo Fujioka, Hiroaki Kawashima, Shizuko Hiryu, Hitoshi Habe
  • Organizer: The 29th International Workshop on Frontiers of Computer Vision
  • Int'l Joint Research
• [Presentation] Estimating Networks of Interaction in Fish Schools with a Minimal Model (2023)
  • Author(s): Hiroaki Kawashima
  • Organizer: 2nd International Workshop onBehavior analysis and Recognition for knowledge Discovery (BiRD 2023) in IEEE The 21st International Conference on Pervasive Computing and Communications (PerCom 2023)
  • Int'l Joint Research
• [Presentation] 時空間分割を用いた監視カメラにおけるイベント領域検出 (2022)
  • Author(s): 金城匡，川嶋宏彰
  • Organizer: 画像の認識・理解シンポジウム（第25回）
• [Presentation] 機械学習のいらない大規模魚群の複数個体追跡 (2022)
  • Author(s): 進藤克俊，波部斉，大谷雅之，阿部孝司，井口信和
  • Organizer: 画像の認識・理解シンポジウム（第25回）
• [Presentation] オクルージョンに頑健なクロマグロ稚魚の複数個体追跡手法 (2022)
  • Author(s): 進藤克俊，岩井佑樹，波部斉，大谷雅之，阿部孝司，井口信和
  • Organizer: 第84回情報処理学会全国大会
• [Presentation] Modeling and Control of Interactions - Human, Machine, and Swarm (2022)
  • Author(s): Hiroaki Kawashima
  • Organizer: International Symposium on Intelligent Computing Systems
  • Int'l Joint Research / Invited
• [Presentation] クロマグロ稚魚の急激な動き変化に対応した複数物体追跡 (2021)
  • Author(s): 鈴木励，波部斉，大谷雅之，阿部孝司，井口信和
  • Organizer: ビジョン技術の実利用ワークショップViEW2021