Development of X-logbot and Elucidation of Behavior Diagram using Sparse Modeling

• Project Area: Hierarchical Bio-Navigation Integrating Cyber-Physical Space
• Project/Area Number: 21H05298
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: Tohoku University
• Principal Investigator: 橋本 浩一 東北大学, 情報科学研究科, 教授 (80228410)
• Co-Investigator(Kenkyū-buntansha): 安藤 恵子 東北大学, 歯学研究科, 准教授 (40221741) ; 鏡 慎吾 東北大学, 未踏スケールデータアナリティクスセンター, 教授 (90361542)
• Project Period (FY): 2021-09-10 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥127,790,000 (Direct Cost: ¥98,300,000、Indirect Cost: ¥29,490,000); Fiscal Year 2025: ¥20,410,000 (Direct Cost: ¥15,700,000、Indirect Cost: ¥4,710,000); Fiscal Year 2024: ¥24,700,000 (Direct Cost: ¥19,000,000、Indirect Cost: ¥5,700,000); Fiscal Year 2023: ¥25,220,000 (Direct Cost: ¥19,400,000、Indirect Cost: ¥5,820,000); Fiscal Year 2022: ¥24,310,000 (Direct Cost: ¥18,700,000、Indirect Cost: ¥5,610,000); Fiscal Year 2021: ¥33,150,000 (Direct Cost: ¥25,500,000、Indirect Cost: ¥7,650,000)
• Keywords: 行動ダイアグラム / 行動計測 / 行動実験 / χログボット / 制御工学 / 計測工学 / 神経科学 / 階層的ナビゲーション / スパースモデリング

Outline of Research at the Start

階層ナビゲーションを解明するために、(1) 先端的計測・介入手法の開発、(2) 行動ダイアグラムの推定手法とその計算手法、(3) 行動実験による行動ダイアグラムの検証、を行う。ロボット制御、コンピュータビジョン、三次元計測、拡張現実感において有している実績を活用し、装着型ならびに環境型χログボットに組み込むための計測・介入手法を開発する。行動ダイアグラムの入出力関係のスパースモデリングを行い、行動に関与する要因をできるだけ少ない数で表現する。老化遺伝子に対する光遺伝学等を用いた介入や口腔細菌などの病原菌による化学的介入で線虫の行動とインタラクション変化を計測し、行動ダイアグラムの検証を行う。

Outline of Annual Research Achievements

本研究領域では、ヒトおよび動物の階層的ナビゲーションを解明するために、ナビゲーションおよびインタラクションを計測、分析するとともに、行動に介入する方策を立て、実際に装置を作成して介入実験を実施する。
本計画研究では、能動的AI を用いたバイオロガーにより、行動を計測して介入することのできる装置（χログボット）を開発し、環境との相互作用や他個体とのインタラクションを推定することを目標とする。とくに、2023年度は、階層ナビゲーションの構造を解明するために、
1. 先端的計測・介入手法の開発（壊れにくいセンサ・アクチュエータ）
2. 行動ダイアグラムの推定手法とその計算手法（ブラックボックス最適化）
3. 行動実験による行動ダイアグラムの検証（シンプルな系での実験検証）
を実施した。1.においては各種動物に装着できる壊れにくいバイオロガーを開発する。A01各班と協力して多様な現場で機能するχログボットを製作する。2.においては、行動ダイアグラムの目的関数推定のためのブラックボックス最適化に取り組む。3.においては老化遺伝子に対する光遺伝学等を用いた介入や口腔細菌などの病原菌による化学的介入で線虫の行動とインタラクション変化を計測し、行動ダイアグラムの検証を行う。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

多様な動物に装着可能な壊れにくいバイオロガー開発は着実に進んでおり、試作品を製作し、計画班メンバーおよび公募班メンバーと共同してフィールドにて使用している。行動ダイアグラム推定については、コンサートホール避難訓練や花火大会帰宅時の実データを用いてヒトの行動推定を実施しており、成果が上がっている。また、線虫をモデル系に用いてヒトの全身麻酔で主に用いられている麻酔薬セボフルランに着目した実験においては、線虫麻酔システムを開発して行動ダイアグラム推定の実験を実施している。

Strategy for Future Research Activity

(1) 多様な動物への介入を可能とし、個体間相互作用が計測できるχログボットを開発する。とくに、環境型ログボットにおいては高速カメラと低遅延プロジェクタを導入してオプトジェネティクスを基盤とした研究推進に利用できる装置を開発している。装着型ログボットにおいては防水機能や耐震機能を強化して壊れにくいものを開発している。
(2) 少数の因子で行動ダイアグラムを説明することを実施している。効率のよいブラックボックス最適化アルゴリズムを開発して評価している。さらに、各計画班・公募班における検証を通じて行動モデルの精緻化を行う。
(3) 行動ダイアグラムをシンプルな系において詳細に検証するため、線虫を用いた神経行動解析を実施する。具体的には麻酔剤による化学的介入や口腔細菌などの病原菌による生物学的介入でインタラクションの変容を解析する。

Research Products

• [Journal Article] Physical Stimulation Methods Developed for In Vitro Neuronal Differentiation Studies of PC12 Cells: A Comprehensive Review (2024)
  • Author(s): Tominami Kanako、Kudo Tada-aki、Noguchi Takuya、Hayashi Yohei、Luo You-Ran、Tanaka Takakuni、Matsushita Ayumu、Izumi Satoshi、Sato Hajime、Gengyo-Ando Keiko、Matsuzawa Atsushi、Hong Guang、Nakai Junichi
  • Journal Title: International Journal of Molecular Sciences Volume: 25 Issue: 2 Pages: 772-772
  • DOI: 10.3390/ijms25020772
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Domain 3a mutation of VPS33A suppresses larval arrest phenotype in the loss of VPS45 in Caenorhabditis elegans (2024)
  • Author(s): Gengyo-Ando, K; Kumagai, M; Ando, H; Nakai, J
  • Journal Title: microPublication Biology Volume: -
  • Peer Reviewed / Open Access
• [Journal Article] Recognition of Human Relationships Using Interactions and Gazes through Video Analysis in Surveillance Footage (2023)
  • Author(s): Matus Tanonwong, Naoya Chiba, Koichi Hashimoto
  • Journal Title: 2023 IEEE International Conference on Robotics and Biomimetics (ROBIO) Volume: - Pages: 1-7
  • DOI: 10.1109/robio58561.2023.10354720
  • Peer Reviewed / Open Access
• [Journal Article] Multi-Objective Deep Reinforcement Learning for Crowd Route Guidance Optimization (2023)
  • Author(s): Ryo Nishida, Yuki Tanigaki, Koichi Hashimoto
  • Journal Title: Transportation Research Record Volume: - Issue: 5 Pages: 1-17
  • DOI: 10.1177/03611981231190635
  • Peer Reviewed / Open Access
• [Journal Article] Homography Estimation Using Marker Projection Control: A Case of Calibration-Free Projection Mapping (2023)
  • Author(s): Shingo Kagami and Koichi Hashimoto
  • Journal Title: Proc. 22nd World Congress of the International Federation of Automatic Control (IFAC2023) Volume: - Issue: 2 Pages: 2951-2956
  • DOI: 10.1016/j.ifacol.2023.10.1418
  • Peer Reviewed / Open Access
• [Journal Article] Comparative Study of Hybridization and Parameter Tuning Improvement Methods for EAs in WFLOP (2023)
  • Author(s): Ziqing Ye, Haichuan Yang, Naoya Chiba, Koichi Hashimoto
  • Journal Title: CIIS 2023: 2023 the 6th International Conference on Computational Intelligence and Intelligent Systems Volume: - Pages: 59-65
  • DOI: 10.1145/3638209.3638219
  • Peer Reviewed / Open Access
• [Journal Article] A humanized Caenorhabditis elegans model for studying pathogenic mutations in VPS45, a protein essential for membrane trafficking, associated with severe congenital neutropenia (2023)
  • Author(s): Gengyo-Ando, K; Tateyama, M; Mitani, S; Ando, H; Nakai, J
  • Journal Title: microPublication Biology Volume: -
  • Peer Reviewed / Open Access
• [Journal Article] Evaluation of Perceptual Difference in Dynamic Projection Mapping with and without Movement of the Target Surface (2022)
  • Author(s): Shunya Fukuda, Shingo Kagami, Koichi Hashimoto
  • Journal Title: Journal of Robotics and Mechatronics Volume: 34 Issue: 5 Pages: 1141-1151
  • DOI: 10.20965/jrm.2022.p1141
  • ISSN: 0915-3942, 1883-8049
  • Year and Date: 2022-10-20
  • Peer Reviewed / Open Access
• [Journal Article] Simulation Analysis on Benefits of Introducing Meeting Points Into On-Demand Shared Mobility Services. (2022)
  • Author(s): Ryo Nishida, Ryo Kanamori, Masaki Onishi, Itsuki Noda, Koichi Hashimoto
  • Journal Title: IEEE Access Volume: 10 Pages: 124114-124129
  • DOI: 10.1109/access.2022.3224728
  • Peer Reviewed / Open Access
• [Journal Article] Vision-Based Finger Tapping Detection Without Fingertip Observation (2021)
  • Author(s): Narita Shotaro、Graduate School of Information Sciences, Tohoku University 6-6-01 Aramaki Aza Aoba, Aoba-ku, Sendai 980-8579, Japan、Kagami Shingo、Hashimoto Koichi
  • Journal Title: Journal of Robotics and Mechatronics Volume: 33 Issue: 3 Pages: 484-493
  • DOI: 10.20965/jrm.2021.p0484
  • NAID: 130008054361
  • ISSN: 0915-3942, 1883-8049
  • Year and Date: 2021-06-20
  • Peer Reviewed / Open Access
• [Journal Article] MetamorHockey: A Projection-based Virtual Air Hockey Platform Featuring Transformable Mallet Shapes (2021)
  • Author(s): Ueda Shun、Kagami Shingo、Hashimoto Koichi
  • Journal Title: Special Interest Group on Computer Graphics and Interactive Techniques Conference Emerging Technologies, SIGGRAPH 2021 Volume: - Pages: 1-4
  • DOI: 10.1145/3450550.3465341
  • Peer Reviewed / Open Access
• [Journal Article] Glutamate signaling from a single sensory neuron mediates experience-dependent bidirectional behavior in Caenorhabditis elegans (2021)
  • Author(s): Sato Hirofumi、Kunitomo Hirofumi、Fei Xianfeng、Hashimoto Koichi、Iino Yuichi
  • Journal Title: Cell Reports Volume: 35 Issue: 8 Pages: 109177-109177
  • DOI: 10.1016/j.celrep.2021.109177
  • Peer Reviewed / Open Access
• [Journal Article] Simultaneous recording of behavioral and neural responses of free-moving nematodes C.?elegans (2021)
  • Author(s): Sato Hirofumi、Kunitomo Hirofumi、Fei Xianfeng、Hashimoto Koichi、Iino Yuichi
  • Journal Title: STAR Protocols Volume: 2 Issue: 4 Pages: 101011-101011
  • DOI: 10.1016/j.xpro.2021.101011
  • Peer Reviewed / Open Access
• [Presentation] Ca2+濃度計測法G-CaMP：初の汎用的遺伝コード可能なCa2+プローブ (2023)
  • Author(s): 安藤恵子、中井淳一
  • Organizer: 日本生理学会第100回記念大会
• [Presentation] Sample-Efficient Multimodal Dynamics Modeling for Risk-Sensitive Reinforcement Learning (2022)
  • Author(s): Ryota Yashima, Akihiko Yamaguchi, Koichi Hashimoto
  • Organizer: 2022 8th International Conference on Mechatronics and Robotics Engineering (ICMRE)
  • Int'l Joint Research
• [Presentation] in vivo calcium imaging, membrane trafficking and taste preference (2022)
  • Author(s): Junichi Nakai, Keiko Gengyo-Ando, Tadaaki Kudo
  • Organizer: UI-TU International Joint Symposium
  • Invited
• [Presentation] Membrane trafficking (2022)
  • Author(s): Keiko Gengyo-Ando
  • Organizer: 21th Yonsei Dental International Symposium
  • Invited
• [Presentation] Vibration Control for Pivoting by Robot Hand Equipped with CAVS and FingerVision (2021)
  • Author(s): Yoshiyuki Suzuki, Akihiko Yamaguchi, Seita Nojiri, Tetsuyou Watanabe, Koichi Hashimoto
  • Organizer: Proceedings - 2021 5th IEEE International Conference on Robotic Computing, IRC 2021
  • Int'l Joint Research