自律的に計測・介入を行うχログボットのアルゴリズム開発

• Project Area: Hierarchical Bio-Navigation Integrating Cyber-Physical Space
• Project/Area Number: 21H05299
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: The University of Osaka
• Principal Investigator: 前川 卓也 大阪大学, 高等共創研究院, 教授 (50447025)
• Co-Investigator(Kenkyū-buntansha): 竹内 孝 京都大学, 情報学研究科, 講師 (30726568) ; 木村 幸太郎 名古屋市立大学, 大学院理学研究科, 教授 (20370116)
• Project Period (FY): 2021-09-10 – 2026-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥121,680,000 (Direct Cost: ¥93,600,000、Indirect Cost: ¥28,080,000); Fiscal Year 2025: ¥23,010,000 (Direct Cost: ¥17,700,000、Indirect Cost: ¥5,310,000); Fiscal Year 2024: ¥22,750,000 (Direct Cost: ¥17,500,000、Indirect Cost: ¥5,250,000); Fiscal Year 2023: ¥22,490,000 (Direct Cost: ¥17,300,000、Indirect Cost: ¥5,190,000); Fiscal Year 2022: ¥22,100,000 (Direct Cost: ¥17,000,000、Indirect Cost: ¥5,100,000); Fiscal Year 2021: ¥31,330,000 (Direct Cost: ¥24,100,000、Indirect Cost: ¥7,230,000)
• Keywords: 階層的生物ナビ学 / 階層生物ナビ / バイオロギング / 行動認識 / ユビキタスコンピューティング / 動物行動学 / 機械学習

Outline of Research at the Start

これまでの動物行動分析の研究では、生態や神経研究でのPhysical空間におけるデータ計測の取り組みと、情報研究でのCyber空間におけるデータ分析の取り組みが分離しており、対象行動の全貌を明らかにするまで計測と分析のサイクルを何度も繰り返す必要があった。このような課題を克服するため、本研究課題では (1)能動的人工知能を用いた計測・介入手法の研究と (2)介入手段を備えたχログボットハードウェアの開発を行う。

Outline of Annual Research Achievements

野生環境にて動物に自律的に介入を行うためのロガー装置のハードウェアおよびソフトウェア開発を引き続き行った。2023年度に青森県蕪島に生息するウミネコおよび新潟県粟島に生息するオオミズナギドリを用いて実験を行ったが、GPSモジュールに雑音が生じる問題が発生したため、GPSに外部アンテナを装着して、2024年度に再実験を行った。その結果、世界で初めてバイオロガー上のAIによる自律的な介入に成功した。結果をまとめ、論文誌に成果を投稿中である。
野生動物に取り付けておくだけで、その希少な行動を低消費電力に自動発見し、映像撮影するバイオロギングデバイスを世界で初めて実現した。本成果は2023年度にPNAS Nexusに採録されているが、2024年度は情報処理学会ユビキタスコンピューティングシステム研究会にて優秀論文賞を受賞した。
深層学習モデルを実装可能なバイオロギングデバイスを開発し、自己教師あり学習により学習した特徴抽出器をデバイス上で動作させることに成功した。2024年度に海鳥に対して事前実験を行っており、2025年度に本格的に稼働させる。また、深層学習を用いた行動認識モデルの構成の検証も並行して進めており、その成果はMethods in Ecology and Evolutionに採択されたとともに、cover pictureに選ばれた。
さらに人間を対象とした行動認識研究を行い、ウェアラブルセンサを用いた手法と深度センサを用いた手法に関する論文をそれぞれ当該分野の最難関会議であるPerCom2025に投稿し、採録された。Full paper論文の採択率は10%であり難関であった。また本研究グループが、世界で最も多くPerCom2025に論文が採択されていた（トップタイ）。このように、本年度は世界的にも顕著な成果を達成した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

・野生動物介入ロガーのアルゴリズムを改良し、AIが自律的に介入のパラメータを変更できるようにした。5月に青森県蕪島で実験を行う予定である。
・線虫の姿勢推定をカメラ画像を用いて行う手法を開発した。昨年度までの手法ではリアルタイムでのトラッキングが不可能であったが、モデルの量子化などを用いてリアルタイム姿勢推定が可能となった。現在、結果をまとめて論文執筆を行っている。
・深層学習モデルを実装可能なバイオロギングデバイスの開発を2024年度に行った。量子化などにより圧縮した深層学習モデルを動作させることに成功した。2024年度に初期実験を海鳥に対して行っており、2025年度5月に本格的な実験を海鳥を対象に行う予定である。
以上のように、概ね計画通りに研究が進展している。

Strategy for Future Research Activity

・自律的に介入方法を変更できるように改良した介入ロガー装置を、海鳥を含めた様々な動物へと展開していく。
・能動的に希少な動物行動を自動撮影する手法を、ツキノワグマを含めて様々な動物へと展開していく。
・線虫のリアルタイムでのトラッキング手法の論文化を行うとともに、それを用いたリアルタイムな介入実験を行う。また、マルチモーダル介入方策を効率よく学習するため、強化学習手法の改良を行っていく。

Research Products

• [Journal Article] InterHandNet: Capturing Two-hand Interaction for Robust Hand-washing Activity Recognition (2025)
  • Author(s): Yiqing Zhang and Takuya Maekawa
  • Journal Title: IEEE Int'l Conf. on Pervasive Computing and Communications (PerCom 2025) Volume: - Pages: 13-24
  • Peer Reviewed
• [Journal Article] Enhancing Environmental Independency for CSI-Based Depth Image Reconstruction (2025)
  • Author(s): Guanyu Cao, Takuya Maekawa, Kazuya Ohara, Yasue Kishino
  • Journal Title: PerCom 2025 Workshop on WiSense 2025 Volume: - Pages: 537-542
  • Peer Reviewed
• [Journal Article] Multilevel Transfer Learning for Complex Work Activity Recognition in Logistic Domain (2025)
  • Author(s): Jaime Morales, Qingxin Xia, Naoya Yoshimura, Hirotomo Oshima, Masamitsu Fukuda, Yasuo Namioka, and Takuya Maekawa
  • Journal Title: IEEE Int'l Conf. on Pervasive Computing and Communications (PerCom 2025) Volume: - Pages: 159-170
  • Peer Reviewed
• [Journal Article] AoA-net: Estimating Angle-of-arrival Using Wi-Fi Channel State Information Based on Deep Neural Networks with Subcarrier Selection (2024)
  • Author(s): Teerawat Kumrai, Zesheng Cai, Takuya Maekawa, Takahiro Hara, Kazuya Ohara, Tomoki Murakami, Hirantha Abeysekera
  • Journal Title: Journal of Information Processing Volume: 32 Issue: 0 Pages: 863-872
  • DOI: 10.2197/ipsjjip.32.863
  • ISSN: 1882-6652
  • Peer Reviewed
• [Journal Article] Predicting Signal Reception Information from GNSS Satellites in Indoor Environments without Site Survey: Towards Opportunistic Indoor Positioning based on GNSS Fingerprinting (2024)
  • Author(s): Heng Zhou and Takuya Maekawa
  • Journal Title: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies Volume: 8 Issue: 3 Pages: 1-30
  • DOI: 10.1145/3678554
  • Peer Reviewed / Open Access
• [Journal Article] Hidden rivals: the negative impacts of dolphinfish on seabird foraging behavior (2024)
  • Author(s): S. Koyama, Y. Goto, S. Furukawa, T. Maekawa, K. Yoda
  • Journal Title: Biology Letters Volume: 20 Issue: 8 Pages: 20240223-20240223
  • DOI: 10.1098/rsbl.2024.0223
  • Peer Reviewed / Open Access
• [Journal Article] Introduction of the OpenPack Dataset and Lessons Learned from Organizing OpenPack Challenge 2022 (2024)
  • Author(s): Takuya Maekawa, Naoya Yoshimura, Jaime Morales, Takahiro Hara
  • Journal Title: International Journal of Activity and Behavior Computing Volume: 2024 Issue: 2 Pages: 1-21
  • DOI: 10.60401/ijabc.17
  • ISSN: 2759-2871
  • Peer Reviewed / Open Access
• [Journal Article] Activity Prediction Method for Nursing Care Records with Missing Entries (2024)
  • Author(s): Ryuichiro Okuda, Qingxin Xia, Takuya Maekawa, Takahiro Hara, Sozo Inoue
  • Journal Title: International Journal of Activity and Behavior Computing Volume: 2024 Issue: 2 Pages: 1-17
  • DOI: 10.60401/ijabc.16
  • ISSN: 2759-2871
  • Peer Reviewed / Open Access
• [Journal Article] Exploring deep learning techniques for wild animal behaviour classification using animal‐borne accelerometers (2024)
  • Author(s): Otsuka Ryoma、Yoshimura Naoya、Tanigaki Kei、Koyama Shiho、Mizutani Yuichi、Yoda Ken、Maekawa Takuya
  • Journal Title: Methods in Ecology and Evolution Volume: 15 Issue: 4 Pages: 716-731
  • DOI: 10.1111/2041-210x.14294
  • Peer Reviewed / Open Access
• [Journal Article] Brief Introduction of the OpenPack Dataset and Lessons Learned from Organizing Activity Recognition Challenge Using the Dataset (2024)
  • Author(s): Takuya Maekawa, Naoya Yoshimura, Jaime Morales, Takahiro Hara
  • Journal Title: Companion of the 2024 on ACM International Joint Conference on Pervasive and Ubiquitous Computing Volume: - Pages: 116-120
  • DOI: 10.1145/3675094.3677597
  • Peer Reviewed
• [Journal Article] Preliminary Investigation of Activity Prediction in Nursing Homes using Activity History with Erroneous Time Stamps (2024)
  • Author(s): Ryuichiro Okuda, Xia Qingxin, Maekawa Takuya, Takahiro Hara, Sozo Inoue
  • Journal Title: Companion of the 2024 on ACM International Joint Conference on Pervasive and Ubiquitous Computing Volume: - Pages: 851-855
  • DOI: 10.1145/3675094.3678384
  • Peer Reviewed
• [Journal Article] Automatic recording of rare behaviors of wild animals using video bio-loggers with on-board light-weight outlier detector, (2024)
  • Author(s): Kei Tanigaki, Ryoma Otsuka, Aiyi Li, Yota Hatano, Yuanzhou Wei, Shiho Koyama, Ken Yoda, and Takuya Maekawa
  • Journal Title: PNAS Nexus Volume: 3 Issue: 1
  • DOI: 10.1093/pnasnexus/pgad447
  • Peer Reviewed / Open Access
• [Journal Article] MGA-Net+: Acceleration-based packaging work recognition using motif-guided attention networks (2023)
  • Author(s): Morales Jaime、Yoshimura Naoya、Xia Qingxin、Wada Atsushi、Namioka Yasuo、Maekawa Takuya
  • Journal Title: Pervasive and Mobile Computing Volume: 88 Pages: 101735-101735
  • DOI: 10.1016/j.pmcj.2022.101735
  • Peer Reviewed / Open Access
• [Journal Article] Automated construction of Wi-Fi-based indoor logical location predictor using crowd-sourced photos with Wi-Fi signal (2023)
  • Author(s): Teerawat Kumrai, Joseph Korpela, Yizhe Zhang, Kazuya Ohara, Tomoki Murakami, Hirantha Abeysekera, Takuya Maekawa
  • Journal Title: Elsevier Pervasive and Mobile Computing (PMC) Volume: 89 Pages: 101742-101742
  • DOI: 10.1016/j.pmcj.2022.101742
  • Peer Reviewed / Open Access
• [Journal Article] Data sharing and ocean visualization realized by Biologging intelligent Platform (BiP) (2023)
  • Author(s): 渡辺 伸一、木村 里子、坂本 健太郎、高橋 晃周、前川 卓也、楢崎 友子、三田村 啓理、佐藤 克文、野田 琢嗣、小泉 拓也、依田 憲、吉田 誠、岩田 高志、西澤 秀明、奥山 隼一、青木 かがり
  • Journal Title: JAPANESE JOURNAL OF ECOLOGY Volume: 73 Issue: 1 Pages: 9-22
  • DOI: 10.18960/seitai.73.1_9
  • ISSN: 0021-5007, 2424-127X
  • Peer Reviewed / Open Access
• [Journal Article] Optical Control of Cell Signaling with Red/Far-Red Light-Responsive Optogenetic Tools in Caenorhabditis elegans (2023)
  • Author(s): Oda Shigekazu、Sato-Ebine Emi、Nakamura Akinobu、Kimura Koutarou D.、Aoki Kazuhiro
  • Journal Title: ACS Synthetic Biology Volume: 12 Issue: 3 Pages: 700-708
  • DOI: 10.1021/acssynbio.2c00461
  • Peer Reviewed / Open Access
• [Journal Article] IndoLabel: Predicting Indoor Location Class by Discovering Location-Specific Sensor Data Motifs (2022)
  • Author(s): Dissanayake Thilina、Maekawa Takuya、Hara Takahiro、Miyanishi Taiki、Kawanabe Motoaki
  • Journal Title: IEEE Sensors Journal Volume: 22 Issue: 6 Pages: 5372-5385
  • DOI: 10.1109/jsen.2021.3102916
  • Peer Reviewed / Open Access
• [Journal Article] GPS-assisted Indoor Pedestrian Dead Reckoning (2022)
  • Author(s): Heng Zhou, Takuya Maekawa
  • Journal Title: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT) (Presented at UbiComp 2023) Volume: 6 Issue: 4 Pages: 166-166
  • DOI: 10.1145/3569467
  • Peer Reviewed / Open Access
• [Journal Article] Predicting Performance Improvement of Human Activity Recognition Model by Additional Data Collection (2022)
  • Author(s): Tanigaki Kei、Teoh Tze Chuin、Yoshimura Naoya、Maekawa Takuya、Hara Takahiro
  • Journal Title: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies Volume: 6 Issue: 3 Pages: 1-33
  • DOI: 10.1145/3550319
  • Peer Reviewed / Open Access
• [Journal Article] Acceleration-based Activity Recognition of Repetitive Works with Lightweight Ordered-work Segmentation Network (2022)
  • Author(s): Yoshimura Naoya、Maekawa Takuya、Hara Takahiro、Wada Atsushi、Namioka Yasuo
  • Journal Title: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies Volume: 6 Issue: 2 Pages: 1-39
  • DOI: 10.1145/3534572
  • Peer Reviewed / Open Access
• [Presentation] Preliminary Investigation of End-to-end Indoor Trajectory Prediction Based on 2D Floorplan Image and Graph Neural Network (2024)
  • Author(s): Wang Yuqiao, Maekawa Takuya
  • Organizer: 情報処理学会 第84回ユビキタスコンピューティングシステム研究会
• [Presentation] ChatGPTを用いたバイオ実験作業の教師なし認識に関する検討 (2024)
  • Author(s): 岡 辰之輔, 助川 桃枝, 今田 辰海, 戸谷 吉博, 前川 卓也
  • Organizer: 情報処理学会 第84回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of Packing Process Recognition Using Cross Knowledge Distillation (2024)
  • Author(s): Qiao Hongyin, Rizk Hamada, Maekawa Takuya
  • Organizer: 情報処理学会 第83回ユビキタスコンピューティングシステム研究会
• [Presentation] 慣性センサと磁気ランドマークを用いたマウスの3D軌跡推定に関する検討 (2024)
  • Author(s): 周 恒, 助川桃枝, 大塚亮真, 畦地裕統, 井出 薫, 高橋 晋, 前川卓也
  • Organizer: Neuro 2024
• [Presentation] カメラ搭載型バイオロガーを活用した野生生物の希少行動の自動記録 (2024)
  • Author(s): 谷垣 慶, 大塚亮真, Li Aiyi, 波多野遥太, Wei Yuanzhou, 小山 偲歩, 依田 憲, 前川 卓也
  • Organizer: 情報処理学会 第82回ユビキタスコンピューティングシステム研究会
• [Presentation] バイオロギングデバイスにおける加速度データとカメラを利用した行動目録の自動作成手法 (2024)
  • Author(s): 黒岩恒在, 大塚亮真, 谷垣 慶, 助川桃枝, 前川卓也, 原 隆浩
  • Organizer: 情報処理学会 第82回ユビキタスコンピューティングシステム研究会
• [Presentation] アクティビティダイアリーの記録ずれを考慮した行動予測に関する検討 (2024)
  • Author(s): 奥田 隆一郎，夏 清心，前川 卓也，原 隆浩，井上 創造
  • Organizer: 情報処理学会 第81回ユビキタスコンピューティングシステム研究会
• [Presentation] 産業分野における行動認識のためのOpenPackデータセットの構築とその運用 (2024)
  • Author(s): 前川 卓也，吉村 直也，Molares Jaime，原 隆浩
  • Organizer: 情報処理学会 第81回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary investigation on motif-guided multilevel knowledge transfer for logistic work activity recognition (2024)
  • Author(s): Morales Jaime，Yoshimura Naoya，Xia Qinxin，Maekawa Takuya，Oshima Hirotomo，Fukuda Masamitsu，Namioka Yasuo
  • Organizer: 情報処理学会 第81回ユビキタスコンピューティングシステム研究会
• [Presentation] AI on Animals: AI-enabled bio-loggers transform animal behavior study in the wild (2024)
  • Author(s): Takuya Maekawa, Kei Tanigaki, Ryoma Otsuka, Shiho Koyama, Yuichi Mizutani, Ken Yoda
  • Organizer: The 8th International Bio-Logging Science Symposium
  • Int'l Joint Research
• [Presentation] A trial for wild animal behaviour classification using animal-borne accelerometers and deep learning techniques (2024)
  • Author(s): Ryoma Otuka, Naoya Yoshimura, Kei Tanigaki, Shiho Koyama, Yuichi Mizutani, Ken Yoda, Takuya Maekawa
  • Organizer: The 8th International Bio-Logging Science Symposium
  • Int'l Joint Research
• [Presentation] OpenPack: A Large-scale Dataset for Recognizing Packaging Works in IoT-enabled Logistic Environments (2024)
  • Author(s): Naoya Yoshimura, Jaime Morales, Takuya Maekawa, and Takahiro Hara
  • Organizer: IEEE Int'l Conf. on Pervasive Computing and Communications (PerCom 2024)
  • Int'l Joint Research
• [Presentation] IoT on Animals: Using On-device Activity Recognition Techniques to Unveil the Secrets of Animal Behavior (2023)
  • Author(s): Takuya Maekawa
  • Organizer: ACM MobiSys 2023, IoT Day
  • Int'l Joint Research / Invited
• [Presentation] 人間行動認識における汎用行動モデルの構築とその応用に関する検討 (2023)
  • Author(s): 谷垣 慶, 前川 卓也, 原 隆浩
  • Organizer: 情報処理学会 第80回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of Indoor GPS Satellite Reception Prediction via Neural Networks (2023)
  • Author(s): 周 恒，前川 卓也
  • Organizer: 情報処理学会 第79回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of predicting GPS satellite’s signal strength in indoor environments (2023)
  • Author(s): ZHOU Heng, MAEKAWA Takuya
  • Organizer: 2023年度 人工知能学会全国大会 JSAI 2023
• [Presentation] Recent Trends in Sensor-based Activity Recognition (2023)
  • Author(s): Takuya Maekawa, Qingxin Xia, Ryoma Otsuka, Naoya Yoshimura, and Kei Tanigaki
  • Organizer: IEEE International Conference on Mobile Data Management (MDM 2023)
  • Int'l Joint Research
• [Presentation] Joint Estimation of the Distance and Relative Velocity of Obstacles via Smartphone Active Sound Sensing for Pedestrian Safety (2023)
  • Author(s): Thilina Dissanayake, Takuya Maekawa, and Takahiro Hara
  • Organizer: IEEE Int'l Conf. on Pervasive Computing and Communications (PerCom 2023)
  • Int'l Joint Research
• [Presentation] Detecting Repetitive Human Actions by Neural Networks Trained on Composite Data Only (2023)
  • Author(s): Yuuki Nishino, Takuya Maekawa, and Takahiro Hara
  • Organizer: Second International Workshop on Behavior analysis and Recognition for knowledge Discovery (BiRD 2023)
  • Int'l Joint Research
• [Presentation] 動物行動のデータ駆動型解析に向けた取り組み (2023)
  • Author(s): 前川卓也
  • Organizer: JST CREST 「脳領域／個体／集団間のインタラクション創発原理の解明と適用」定例会議
  • Invited
• [Presentation] Preliminary Investigation of Estimating Distance between Devices via Wi-Fi Round Trip Time Using Positional Embedding of Access Points (2022)
  • Author(s): Yuqiao Wang, Takuya Maekawa, Kazuya Ohara, Yasue Kishino, Tomoki Murakami, and Hirantha Abeysekera
  • Organizer: 情報処理学会 第77回ユビキタスコンピューティングシステム研究会
• [Presentation] 介護記録の記録漏れを考慮した非周期性行動の予測に関する検討 (2022)
  • Author(s): 奥田 隆一郎，夏 清心，前川 卓也，原 隆浩，井上 創造
  • Organizer: 情報処理学会 第76回ユビキタスコンピューティングシステム研究会
• [Presentation] 産業分野での行動認識における例外的行動が認識結果に及ぼす影響に関する分析 (2022)
  • Author(s): 門野 航央，吉村 直也，前川 卓也，原 隆浩
  • Organizer: 情報処理学会 第76回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of Distance Estimation between Devices via Wi-Fi Round Trip Time (2022)
  • Author(s): Yuqiao Wang, Takuya Maekawa
  • Organizer: 情報処理学会 第76回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of Employing Smartphone Active Sound Sensing to Predict Distance and Relative Velocity of Roadside Obstacles to Aid Distracted Pedestrians (2022)
  • Author(s): Dissanayake Thilina, Maekawa Takuya, Hara Takahiro
  • Organizer: 情報処理学会 第76回ユビキタスコンピューティングシステム研究会
• [Presentation] Preliminary Investigation of Predicting the Distance and the Relative Velocirty of the Obstacles via Smartphone Active Sound Sensing for Pedestrian Safety (2022)
  • Author(s): Dissanayake Thilina, Maekawa Takuya, Hara Takahiro
  • Organizer: 情報処理学会 第74回ユビキタスコンピューティングシステム研究会
• [Presentation] 工場・物流センタにおける作業順序を考慮した少量学習データでの作業行動認識手法の検討 (2022)
  • Author(s): 吉村 直也, 前川 卓也, 原 隆浩, 和田 篤, 浪岡 保男
  • Organizer: 情報処理学会 第74回ユビキタスコンピューティングシステム研究会
• [Presentation] Few-shot弱教師あり学習を用いたウェアラブル加速度センサによる動作カウント手法 (2022)
  • Author(s): 西野 祐希, 前川 卓也, 原 隆浩
  • Organizer: 情報処理学会 第74回ユビキタスコンピューティングシステム研究会
• [Presentation] AI on Animals: 野生動物観測のためのリアルタイム行動認識技術を活用したバイオロギング (2022)
  • Author(s): 前川卓也
  • Organizer: 電子情報通信学会 2022年ソサイエティ大会
  • Invited
• [Funded Workshop] Second International Workshop on Behavior analysis and Recognition for knowledge Discovery (BiRD 2023) (2022)