自律的に計測・介入を行うχログボットのアルゴリズム開発

• Project Area: Hierarchical Bio-Navigation Integrating Cyber-Physical Space
• Project/Area Number: 21H05299
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: Osaka University
• Principal Investigator: 前川 卓也 大阪大学, 大学院情報科学研究科, 准教授 (50447025)
• Co-Investigator(Kenkyū-buntansha): 竹内 孝 京都大学, 情報学研究科, 講師 (30726568) ; 木村 幸太郎 名古屋市立大学, 大学院理学研究科, 教授 (20370116)
• Project Period (FY): 2021-09-10 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥121,680,000 (Direct Cost: ¥93,600,000、Indirect Cost: ¥28,080,000); Fiscal Year 2025: ¥23,010,000 (Direct Cost: ¥17,700,000、Indirect Cost: ¥5,310,000); Fiscal Year 2024: ¥22,750,000 (Direct Cost: ¥17,500,000、Indirect Cost: ¥5,250,000); Fiscal Year 2023: ¥22,490,000 (Direct Cost: ¥17,300,000、Indirect Cost: ¥5,190,000); Fiscal Year 2022: ¥22,100,000 (Direct Cost: ¥17,000,000、Indirect Cost: ¥5,100,000); Fiscal Year 2021: ¥31,330,000 (Direct Cost: ¥24,100,000、Indirect Cost: ¥7,230,000)
• Keywords: 階層的生物ナビ学 / バイオロギング / 行動認識 / 階層生物ナビ / ユビキタスコンピューティング / 動物行動学 / 機械学習

Outline of Research at the Start

これまでの動物行動分析の研究では、生態や神経研究でのPhysical空間におけるデータ計測の取り組みと、情報研究でのCyber空間におけるデータ分析の取り組みが分離しており、対象行動の全貌を明らかにするまで計測と分析のサイクルを何度も繰り返す必要があった。このような課題を克服するため、本研究課題では (1)能動的人工知能を用いた計測・介入手法の研究と (2)介入手段を備えたχログボットハードウェアの開発を行う。

Outline of Annual Research Achievements

野生環境にて動物に自律的に介入を行うためのロガー装置のハードウェアおよびソフトウェア開発を引き続き行った。2023年度に青森県蕪島に生息するウミネコおよび新潟県粟島に生息するオオミズナギドリを用いて実験を行ったが、GPSモジュールに雑音が生じる問題が発生したため、2024年度に再実験を行う。
野生動物に取り付けておくだけで、その希少な行動を低消費電力に自動発見し、映像撮影するバイオロギングデバイスを世界で初めて実現した。これまでの研究では教師あり学習を用いていたため、あらかじめ対象の種の対象の行動に関する大量の学習データを必要とした。しかし、野生動物からラベル有りの学習データを大量に収集することは困難である。そこで、事前のラベル有りデータの収集なしに、バイオロギングデバイス上の人工知能が能動的に有用と思われる希少な動物行動を自動撮影する手法を提案した。本成果はPNAS Nexusに採録された。
産業分野における作業行動認識研究を促進させるため、53時間におよぶ大規模作業行動データセットであるOpenPackデータセットを収集した。データセット論文をユビキタスコンピューティング分野の最難関会議であるPerCom2024に投稿し、採録された。
・海鳥の深層学習を用いた行動認識に関する論文が、生物学的手法のトップ論文誌であるMethods in Ecology and Evolutionに採択された。また、採択された論文が論文誌のカバーレターに選ばれた。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

・野生動物介入ロガーの新ハードウェア開発を行い、そのソフトウェアを開発中である。前回のハードウェアは、高機能ＣＰＵのノイズがＧＰＳに入り込む問題があったため、その問題を解消した。5月に青森県蕪島で実験を行う予定である。
・線虫の姿勢推定をカメラ画像を用いて行う手法を開発した。昨年度までベースとしていたモデルでは精度が十分に上がらないことが判明したため、ベースモデルを全て見直すことで、高い推定精度を達成した。しかし、新しいベースモデルを用いることで計算時間が増大し、リアルタイムでのトラッキングが不可能となった。モデルの量子化などを用いて計算時間の短縮を目指している。
・マウスや線虫の姿勢情報の系列から行動を表す潜在ベクトルを得る手法をオートエンコーダーを用いて実装しているが、オートエンコーダーの再構成誤差が想定より大きいことが分かった。その誤差を低減するため、オートエンコーダーの構成を見直している。
・事前のラベル有りデータの収集なしに、バイオロギングデバイス上の人工知能が能動的に希少な動物行動を自動撮影する手法を開発し、その成果がPNAS Nexusに採録された。
・海鳥の加速度データを用いて、深層学習を用いた動物行動認識手法の検討を行った。この成果は生物学的手法のトップ論文誌であるMethods in Ecology and Evolutionに採択された。また、採択された論文が論文誌のカバーレターに選ばれた。

Strategy for Future Research Activity

・改良した介入ロガー装置を用いた海鳥のフィールド実験を遂行する。
・能動的に希少な動物行動を自動撮影する手法を新潟県粟島に生息するオオミズナギドリおよび日光周辺に生息するツキノワグマに対して適用する。
・線虫のリアルタイムでのトラッキングを実現すべく、モデルの量子化などを用いて計算時間の短縮をおこなう。
・マウスや線虫の姿勢情報の系列から行動を表す潜在ベクトルを得る手法の再構成誤差を低減するため、ネットワーク構成の見直しを行う。

Research Products

• [Journal Article] Automatic recording of rare behaviors of wild animals using video bio-loggers with on-board light-weight outlier detector, (2024)
  • Author(s): Kei Tanigaki, Ryoma Otsuka, Aiyi Li, Yota Hatano, Yuanzhou Wei, Shiho Koyama, Ken Yoda, and Takuya Maekawa
  • Journal Title: PNAS Nexus Volume: 3 Issue: 1
  • DOI: 10.1093/pnasnexus/pgad447
  • Peer Reviewed / Open Access
• [Journal Article] Exploring deep learning techniques for wild animal behaviour classification using animal‐borne accelerometers (2024)
  • Author(s): Otsuka Ryoma、Yoshimura Naoya、Tanigaki Kei、Koyama Shiho、Mizutani Yuichi、Yoda Ken、Maekawa Takuya
  • Journal Title: Methods in Ecology and Evolution Volume: 15 Issue: 4 Pages: 716-731
  • DOI: 10.1111/2041-210x.14294
  • Peer Reviewed / Open Access
• [Journal Article] MGA-Net+: Acceleration-based packaging work recognition using motif-guided attention networks (2023)
  • Author(s): Morales Jaime、Yoshimura Naoya、Xia Qingxin、Wada Atsushi、Namioka Yasuo、Maekawa Takuya
  • Journal Title: Pervasive and Mobile Computing Volume: 88 Pages: 101735-101735
  • DOI: 10.1016/j.pmcj.2022.101735
  • Peer Reviewed / Open Access
• [Journal Article] Automated construction of Wi-Fi-based indoor logical location predictor using crowd-sourced photos with Wi-Fi signal (2023)
  • Author(s): Teerawat Kumrai, Joseph Korpela, Yizhe Zhang, Kazuya Ohara, Tomoki Murakami, Hirantha Abeysekera, Takuya Maekawa
  • Journal Title: Elsevier Pervasive and Mobile Computing (PMC) Volume: 89 Pages: 101742-101742
  • DOI: 10.1016/j.pmcj.2022.101742
  • Peer Reviewed / Open Access
• [Journal Article] Data sharing and ocean visualization realized by Biologging intelligent Platform (BiP) (2023)
  • Author(s): 渡辺 伸一、木村 里子、坂本 健太郎、高橋 晃周、前川 卓也、楢崎 友子、三田村 啓理、佐藤 克文、野田 琢嗣、小泉 拓也、依田 憲、吉田 誠、岩田 高志、西澤 秀明、奥山 隼一、青木 かがり
  • Journal Title: JAPANESE JOURNAL OF ECOLOGY Volume: 73 Issue: 1 Pages: 9-22
  • DOI: 10.18960/seitai.73.1_9
  • ISSN: 0021-5007, 2424-127X
  • Peer Reviewed / Open Access
• [Journal Article] Optical Control of Cell Signaling with Red/Far-Red Light-Responsive Optogenetic Tools in Caenorhabditis elegans (2023)
  • Author(s): Oda Shigekazu、Sato-Ebine Emi、Nakamura Akinobu、Kimura Koutarou D.、Aoki Kazuhiro
  • Journal Title: ACS Synthetic Biology Volume: 12 Issue: 3 Pages: 700-708
  • DOI: 10.1021/acssynbio.2c00461
  • Peer Reviewed / Open Access
• [Journal Article] IndoLabel: Predicting Indoor Location Class by Discovering Location-Specific Sensor Data Motifs (2022)
  • Author(s): Dissanayake Thilina、Maekawa Takuya、Hara Takahiro、Miyanishi Taiki、Kawanabe Motoaki
  • Journal Title: IEEE Sensors Journal Volume: 22 Issue: 6 Pages: 5372-5385
  • DOI: 10.1109/jsen.2021.3102916
  • Peer Reviewed / Open Access
• [Journal Article] GPS-assisted Indoor Pedestrian Dead Reckoning (2022)
  • Author(s): Heng Zhou, Takuya Maekawa
  • Journal Title: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT) (Presented at UbiComp 2023) Volume: 6 Issue: 4 Pages: 166-166
  • DOI: 10.1145/3569467
  • Peer Reviewed / Open Access
• [Journal Article] Predicting Performance Improvement of Human Activity Recognition Model by Additional Data Collection (2022)
  • Author(s): Tanigaki Kei、Teoh Tze Chuin、Yoshimura Naoya、Maekawa Takuya、Hara Takahiro
  • Journal Title: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies Volume: 6 Issue: 3 Pages: 1-33
  • DOI: 10.1145/3550319
  • Peer Reviewed / Open Access
• [Journal Article] Acceleration-based Activity Recognition of Repetitive Works with Lightweight Ordered-work Segmentation Network (2022)
  • Author(s): Yoshimura Naoya、Maekawa Takuya、Hara Takahiro、Wada Atsushi、Namioka Yasuo
  • Journal Title: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies Volume: 6 Issue: 2 Pages: 1-39
  • DOI: 10.1145/3534572
  • Peer Reviewed / Open Access
• [Presentation] AI on Animals: AI-enabled bio-loggers transform animal behavior study in the wild (2024)
  • Author(s): Takuya Maekawa, Kei Tanigaki, Ryoma Otsuka, Shiho Koyama, Yuichi Mizutani, Ken Yoda
  • Organizer: The 8th International Bio-Logging Science Symposium
  • Int'l Joint Research
• [Presentation] A trial for wild animal behaviour classification using animal-borne accelerometers and deep learning techniques (2024)
  • Author(s): Ryoma Otuka, Naoya Yoshimura, Kei Tanigaki, Shiho Koyama, Yuichi Mizutani, Ken Yoda, Takuya Maekawa
  • Organizer: The 8th International Bio-Logging Science Symposium
  • Int'l Joint Research
• [Presentation] 産業分野における行動認識のためのOpenPackデータセットの構築とその運用 (2024)
  • Author(s): 前川 卓也，吉村 直也，Molares Jaime，原 隆浩
  • Organizer: 情報処理学会 第81回ユビキタスコンピューティングシステム研究会
• [Presentation] OpenPack: A Large-scale Dataset for Recognizing Packaging Works in IoT-enabled Logistic Environments (2024)
  • Author(s): Naoya Yoshimura, Jaime Morales, Takuya Maekawa, and Takahiro Hara
  • Organizer: IEEE Int'l Conf. on Pervasive Computing and Communications (PerCom 2024)
  • Int'l Joint Research
• [Presentation] IoT on Animals: Using On-device Activity Recognition Techniques to Unveil the Secrets of Animal Behavior (2023)
  • Author(s): Takuya Maekawa
  • Organizer: ACM MobiSys 2023, IoT Day
  • Int'l Joint Research / Invited
• [Presentation] 人間行動認識における汎用行動モデルの構築とその応用に関する検討 (2023)
  • Author(s): 谷垣 慶, 前川 卓也, 原 隆浩
  • Organizer: 情報処理学会 第80回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of Indoor GPS Satellite Reception Prediction via Neural Networks (2023)
  • Author(s): 周 恒，前川 卓也
  • Organizer: 情報処理学会 第79回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of predicting GPS satellite’s signal strength in indoor environments (2023)
  • Author(s): ZHOU Heng, MAEKAWA Takuya
  • Organizer: 2023年度 人工知能学会全国大会 JSAI 2023
• [Presentation] Recent Trends in Sensor-based Activity Recognition (2023)
  • Author(s): Takuya Maekawa, Qingxin Xia, Ryoma Otsuka, Naoya Yoshimura, and Kei Tanigaki
  • Organizer: IEEE International Conference on Mobile Data Management (MDM 2023)
  • Int'l Joint Research
• [Presentation] Joint Estimation of the Distance and Relative Velocity of Obstacles via Smartphone Active Sound Sensing for Pedestrian Safety (2023)
  • Author(s): Thilina Dissanayake, Takuya Maekawa, and Takahiro Hara
  • Organizer: IEEE Int'l Conf. on Pervasive Computing and Communications (PerCom 2023)
  • Int'l Joint Research
• [Presentation] Detecting Repetitive Human Actions by Neural Networks Trained on Composite Data Only (2023)
  • Author(s): Yuuki Nishino, Takuya Maekawa, and Takahiro Hara
  • Organizer: Second International Workshop on Behavior analysis and Recognition for knowledge Discovery (BiRD 2023)
  • Int'l Joint Research
• [Presentation] 動物行動のデータ駆動型解析に向けた取り組み (2023)
  • Author(s): 前川卓也
  • Organizer: JST CREST 「脳領域／個体／集団間のインタラクション創発原理の解明と適用」定例会議
  • Invited
• [Presentation] Preliminary Investigation of Estimating Distance between Devices via Wi-Fi Round Trip Time Using Positional Embedding of Access Points (2022)
  • Author(s): Yuqiao Wang, Takuya Maekawa, Kazuya Ohara, Yasue Kishino, Tomoki Murakami, and Hirantha Abeysekera
  • Organizer: 情報処理学会 第77回ユビキタスコンピューティングシステム研究会
• [Presentation] 介護記録の記録漏れを考慮した非周期性行動の予測に関する検討 (2022)
  • Author(s): 奥田 隆一郎，夏 清心，前川 卓也，原 隆浩，井上 創造
  • Organizer: 情報処理学会 第76回ユビキタスコンピューティングシステム研究会
• [Presentation] 産業分野での行動認識における例外的行動が認識結果に及ぼす影響に関する分析 (2022)
  • Author(s): 門野 航央，吉村 直也，前川 卓也，原 隆浩
  • Organizer: 情報処理学会 第76回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of Distance Estimation between Devices via Wi-Fi Round Trip Time (2022)
  • Author(s): Yuqiao Wang, Takuya Maekawa
  • Organizer: 情報処理学会 第76回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of Employing Smartphone Active Sound Sensing to Predict Distance and Relative Velocity of Roadside Obstacles to Aid Distracted Pedestrians (2022)
  • Author(s): Dissanayake Thilina, Maekawa Takuya, Hara Takahiro
  • Organizer: 情報処理学会 第76回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of Predicting the Distance and the Relative Velocirty of the Obstacles via Smartphone Active Sound Sensing for Pedestrian Safety (2022)
  • Author(s): Dissanayake Thilina, Maekawa Takuya, Hara Takahiro
  • Organizer: 情報処理学会 第74回ユビキタスコンピューティングシステム研究会
• [Presentation] 工場・物流センタにおける作業順序を考慮した少量学習データでの作業行動認識手法の検討 (2022)
  • Author(s): 吉村 直也, 前川 卓也, 原 隆浩, 和田 篤, 浪岡 保男
  • Organizer: 情報処理学会 第74回ユビキタスコンピューティングシステム研究会
• [Presentation] Few-shot弱教師あり学習を用いたウェアラブル加速度センサによる動作カウント手法 (2022)
  • Author(s): 西野 祐希, 前川 卓也, 原 隆浩
  • Organizer: 情報処理学会 第74回ユビキタスコンピューティングシステム研究会
• [Presentation] AI on Animals: 野生動物観測のためのリアルタイム行動認識技術を活用したバイオロギング (2022)
  • Author(s): 前川卓也
  • Organizer: 電子情報通信学会 2022年ソサイエティ大会
  • Invited
• [Funded Workshop] Second International Workshop on Behavior analysis and Recognition for knowledge Discovery (BiRD 2023) (2022)