• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Creation of a System Infrastructure for Multimodal Knowledge Transfer among Multiple Sites for Life Support Robots

Research Project

Project/Area Number 22K12212
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61050:Intelligent robotics-related
Research InstitutionSoka University (2024)
Ritsumeikan University (2022-2023)

Principal Investigator

Hagiwara Yoshinobu  創価大学, 理工学部, 准教授 (20609416)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Completed (Fiscal Year 2024)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords生成モデル / 生活支援ロボット / 転移学習 / ベイズ推論 / 能動学習 / 基盤モデル / 記号創発ロボティクス / カテゴリゼーション / 知識転移
Outline of Research at the Start

家庭環境は,未知の物体や場所の知識で溢れている.生活支援ロボットがこれらの知識をユーザとの限られたインタラクションの中から獲得するには,ロボット個体が得た観測のみならず,複数ロボットが獲得した知識も活用しながら学習する事が望ましい.本研究では,複数ロボットが獲得した観測から物体や場所の一般的な知識を形成し,この知識を効果的に用いた環境適応を実現する知識転移システムの基盤を創成する.これにより,多様なユーザや環境とのインタラクションに根ざした一般常識の形成と一般常識を効果的に用いた環境適応を可能とする自律的な転移学習システムの設計論の道が開かれる.

Outline of Final Research Achievements

In this study, we developed a knowledge transfer system in which multiple life-support robots aggregate multimodal observational data obtained in their respective environments via a server platform to generalize and share spatial concepts and object knowledge. In addition to designing learning modules based on hierarchical Bayesian models, we incorporated foundation models such as CLIP and VLM to introduce prior knowledge through the integration of visual and linguistic information, thereby enhancing learning efficiency and prediction accuracy in novel environments. Furthermore, by integrating an active learning approach based on expected free energy, the system enables efficient collection of essential data for learning, achieving a balance between knowledge transfer and environmental adaptability.

Academic Significance and Societal Importance of the Research Achievements

本研究は,複数のロボット間および基盤モデルとの間での知識転移を通じて,ロボットが環境の違いを超えて共通の概念を獲得・活用できる新たな計算論的枠組みを提案した点で学術的意義が大きい.階層ベイズ推論,生成モデル,能動学習,基盤モデル活用といった異分野の技術を統合し,知能ロボティクスと認知発達・機械学習の接点を切り拓いた.また,学習効率と適応力を向上させた本手法は,高齢者介護や生活支援などの実社会におけるロボットの活用範囲を広げ,持続可能な福祉社会の実現に寄与する.

Report

(4 results)
  • 2024 Annual Research Report   Final Research Report ( PDF )
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (34 results)

All 2025 2024 2023 2022

All Journal Article (14 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 14 results,  Open Access: 2 results) Presentation (18 results) (of which Invited: 1 results) Book (2 results)

  • [Journal Article] マルチモーダル大規模言語モデルによる複数ロボットの知識統合とタスク割当を用いた現場学習のコスト削減2025

    • Author(s)
      長谷川翔一,村田健人,石川朋親,萩原良信,谷口彰,エルハフィロトフィ,ガルシアグスタボ,谷口忠大
    • Journal Title

      日本ロボット学会誌

      Volume: -

    • Related Report
      2024 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Real-World Instance-Specific Image Goal Navigation: Bridging Domain Gaps via Contrastive Learning2024

    • Author(s)
      Sakaguchi Taichi、Taniguchi Akira、Hagiwara Yoshinobu、El Hafi Lotfi、Hasegawa Shoichi、Taniguchi Tadahiro
    • Journal Title

      2024 Eighth IEEE International Conference on Robotic Computing

      Volume: - Pages: 139-146

    • DOI

      10.1109/irc63610.2024.00032

    • Related Report
      2024 Annual Research Report
    • Peer Reviewed
  • [Journal Article] ECRAP: Exophora Resolution and Classifying User Commands for Robot Action Planning by Large Language Models2024

    • Author(s)
      Oyama Akira、Hasegawa Shoichi、Hagiwara Yoshinobu、Taniguchi Akira、Taniguchi Tadahiro
    • Journal Title

      2024 Eighth IEEE International Conference on Robotic Computing

      Volume: - Pages: 1-8

    • DOI

      10.1109/irc63610.2024.00007

    • Related Report
      2024 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Pointing Frame Estimation With Audio-Visual Time Series Data for Daily Life Service Robots2024

    • Author(s)
      Nakagawa Hikaru、Hasegawa Shoichi、Hagiwara Yoshinobu、Taniguchi Akira、Taniguchi Tadahiro
    • Journal Title

      2024 IEEE International Conference on Systems, Man, and Cybernetics

      Volume: - Pages: 2949-2956

    • DOI

      10.1109/smc54092.2024.10831649

    • Related Report
      2024 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Object Instance Retrieval in Assistive Robotics: Leveraging Fine-Tuned SimSiam with Multi-View Images Based on 3D Semantic Map2024

    • Author(s)
      Sakaguchi Taichi、Taniguchi Akira、Hagiwara Yoshinobu、El Hafi Lotfi、Hasegawa Shoichi、Taniguchi Tadahiro
    • Journal Title

      2024 IEEE/RSJ International Conference on Intelligent Robots and Systems

      Volume: - Pages: 7817-7824

    • DOI

      10.1109/iros58592.2024.10802697

    • Related Report
      2024 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Compositionality and Generalization in Emergent Communication Using Metropolis-Hastings Naming Game2024

    • Author(s)
      Le Hoang Nguyen、Matsui Yuta、Hagiwara Yoshinobu、Taniguchi Akira、Taniguchi Tadahiro
    • Journal Title

      2024 IEEE International Conference on Development and Learning (ICDL)

      Volume: 20 Pages: 1-7

    • DOI

      10.1109/icdl61372.2024.10644635

    • Related Report
      2024 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Interactive Learning System for 3D Semantic Segmentation with Autonomous Mobile Robots2024

    • Author(s)
      Akinori Kanechika, Lotfi El Hafi, Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi
    • Journal Title

      Proceedings of 2024 IEEE/SICE International Symposium on System Integration (SII 2024)

      Volume: - Pages: 1274-1281

    • DOI

      10.1109/sii58957.2024.10417237

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Integrating probabilistic logic and multimodal spatial concepts for efficient robotic object search in home environments2023

    • Author(s)
      Hasegawa Shoichi、Taniguchi Akira、Hagiwara Yoshinobu、El Hafi Lotfi、Taniguchi Tadahiro
    • Journal Title

      SICE Journal of Control, Measurement, and System Integration

      Volume: 16 Issue: 1 Pages: 400-422

    • DOI

      10.1080/18824889.2023.2283954

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Active exploration based on information gain by particle filter for efficient spatial concept formation2023

    • Author(s)
      Taniguchi Akira、Tabuchi Yoshiki、Ishikawa Tomochika、El Hafi Lotfi、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      Advanced Robotics

      Volume: 37 Issue: 13 Pages: 840-870

    • DOI

      10.1080/01691864.2023.2225175

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Active Semantic Mapping for Household Robots: Rapid Indoor Adaptation and Reduced User Burden2023

    • Author(s)
      Ishikawa Tomochika、Taniguchi Akira、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      2023 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

      Volume: - Pages: 3116-3123

    • DOI

      10.1109/smc53992.2023.10394143

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Exophora Resolution of Linguistic Instructions with a Demonstrative based on Real-World Multimodal Information2023

    • Author(s)
      Oyama Akira、Hasegawa Shoichi、Nakagawa Hikaru、Taniguchi Akira、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      2023 32nd IEEE International Conference on Robot and Human Interactive Communication (RO-MAN)

      Volume: - Pages: 2617-2623

    • DOI

      10.1109/ro-man57019.2023.10309487

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Inferring Place-Object Relationships by Integrating Probabilistic Logic and Multimodal Spatial Concepts2023

    • Author(s)
      Hasegawa Shoichi、Taniguchi Akira、Hagiwara Yoshinobu、El Hafi Lotfi、Taniguchi Tadahiro
    • Journal Title

      2023 IEEE/SICE International Symposium on System Integration (SII)

      Volume: - Pages: 1-8

    • DOI

      10.1109/sii55687.2023.10039318

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Multimodal Object Categorization with Reduced User Load through Human-Robot Interaction in Mixed Reality2022

    • Author(s)
      Nakamura Hitoshi、Hafi Lotfi El、Taniguchi Akira、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

      Volume: - Pages: 2143-2150

    • DOI

      10.1109/iros47612.2022.9981374

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Symbol Emergence as Inter-personal Categorization with Head-to-head Latent Word2022

    • Author(s)
      Furukawa Kazuma、Taniguchi Akira、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      2022 IEEE International Conference on Development and Learning (ICDL)

      Volume: - Pages: 60-67

    • DOI

      10.1109/icdl53763.2022.9962227

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Presentation] Segment Anything ModelとMiniCPM-Vによる家庭環境における容器検出技術の開発2025

    • Author(s)
      大森秀之,萩原良信,崔龍雲
    • Organizer
      情報処理学会第87回全国大会
    • Related Report
      2024 Annual Research Report
  • [Presentation] 能動的な場所概念獲得におけるGMVAEによる表現学習の評価2024

    • Author(s)
      小椋正志,萩原良信,崔龍雲
    • Organizer
      計測自動制御学会 システム・情報部門 学術講演会(SSI2024)
    • Related Report
      2024 Annual Research Report
  • [Presentation] ロボット間におけるM-H naming gameを用いた場所に関するカテゴリ形成と記号の共有2024

    • Author(s)
      大熊 裕樹,萩原 良信,崔 龍雲
    • Organizer
      第42回 日本ロボット学会 学術講演会
    • Related Report
      2024 Annual Research Report
  • [Presentation] 新規環境における学習データ低減のための場所概念に基づくマルチロボット知識転移システム2024

    • Author(s)
      小林 浩章,萩原 良信,崔 龍雲
    • Organizer
      第42回 日本ロボット学会 学術講演会
    • Related Report
      2024 Annual Research Report
  • [Presentation] マルチモーダル大規模言語モデルによる複数ロボットの知識統合とタスク割当を用いた現場学習のコスト削減2024

    • Author(s)
      長谷川 翔一,村田 健人,石川 朋親,萩原 良信,谷口 彰,エル ハフィ ロトフィ,ガルシア グスタボ,谷口 忠大
    • Organizer
      第42回 日本ロボット学会 学術講演会
    • Related Report
      2024 Annual Research Report
  • [Presentation] ロボット間の現場知識の差を考慮した基盤モデルによる物体探索の言語指示におけるタスク分解と割当2024

    • Author(s)
      村田 健人,長谷川 翔一,石川 朋親,萩原 良信,谷口 彰,エル ハフィ ロトフィ,谷口 忠大
    • Organizer
      第42回 日本ロボット学会 学術講演会
    • Related Report
      2024 Annual Research Report
  • [Presentation] Enhancing Daily Assistance in Service Robots: Resolving Ambiguous Speech with On-Site Knowledge2024

    • Author(s)
      Yoshinobu Hagiwara
    • Organizer
      Korean Society for Power System Engineering Annual Conference 2024
    • Related Report
      2024 Annual Research Report
    • Invited
  • [Presentation] 現場環境で学習した知識に基づく曖昧な発話からの生活物理支援タスク2023

    • Author(s)
      萩原良信,長谷川翔一,大山瑛,谷口彰,エルハフィロトフィ,谷口忠大
    • Organizer
      第41回 日本ロボット学会 学術講演会
    • Related Report
      2023 Research-status Report
  • [Presentation] 生活支援ロボットの行動計画のための大規模言語モデルと場所概念モデルの活用2023

    • Author(s)
      長谷川翔一,伊藤昌樹,山木良輔,坂口太一,萩原良信,谷口彰,エルハフィロトフィ,谷口忠大
    • Organizer
      第41回 日本ロボット学会 学術講演会
    • Related Report
      2023 Research-status Report
  • [Presentation] 自己蒸留と3次元地図を用いた生活支援ロボットによる類似物体探索2023

    • Author(s)
      坂口太一,谷口彰,萩原良信,谷口忠大
    • Organizer
      第41回 日本ロボット学会 学術講演会
    • Related Report
      2023 Research-status Report
  • [Presentation] 地図とマルチモーダル場所概念の同時学習のための能動探索手法と基盤モデル活用2023

    • Author(s)
      石川 朋親、谷口 彰、萩原 良信、谷口 忠大
    • Organizer
      第37回人工知能学会全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 大規模言語モデルと場所概念モデルの統合による未観測物体の語彙を含んだ言語指示理解2023

    • Author(s)
      長谷川 翔一、山木 良輔、谷口 彰、萩原 良信、エル ハフィ ロトフィ、谷口 忠大
    • Organizer
      第37回人工知能学会全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 実世界のマルチモーダル情報に基づく指示語を含んだ言語指示の外部照応解析2023

    • Author(s)
      大山瑛,長谷川翔一,中川光,谷口彰,萩原良信,谷口忠大
    • Organizer
      言語処理学会第29回年次大会
    • Related Report
      2022 Research-status Report
  • [Presentation] ROS2とPythonを使ったAIロボット入門教材 ―趣旨・音声認識/合成・プランニング―2022

    • Author(s)
      萩原良信,升谷保博,出村公成,タンジェフリートゥチュアン,伊藤昌樹
    • Organizer
      第40回 日本ロボット学会 学術講演会
    • Related Report
      2022 Research-status Report
  • [Presentation] 語彙の合成性を有するマルチモーダル記号創発2022

    • Author(s)
      古川和磨,萩原良信,谷口彰,谷口忠大
    • Organizer
      第36回人工知能学会全国大会(JSAI2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] 変分オートエンコーダを活用した実画像からの記号創発2022

    • Author(s)
      吉田悠人,萩原良信,谷口彰,谷口忠大
    • Organizer
      第36回人工知能学会全国大会(JSAI2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] 確率論理と場所概念を結合したモデルによる場所の学習コストの削減2022

    • Author(s)
      長谷川翔一,萩原良信,谷口彰,エフハフィロトフィ,谷口忠大
    • Organizer
      第36回人工知能学会全国大会(JSAI2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] ROS2とPythonを使ったAIロボット入門教材の開発2022

    • Author(s)
      出村公成, 萩原良信, 升谷保博, タン ジェフリー トゥ チュアン
    • Organizer
      ロボティクス・メカトロニクス講演会2022
    • Related Report
      2022 Research-status Report
  • [Book] ROS2とPythonで作って学ぶAIロボット入門 改訂第2版2025

    • Author(s)
      出村 公成,萩原 良信,升谷 保博,タン ジェフリー トゥ チュアン
    • Total Pages
      352
    • Publisher
      講談社
    • Related Report
      2024 Annual Research Report
  • [Book] ROS2とPythonで作って学ぶAIロボット入門2022

    • Author(s)
      出村公成、萩原良信、升谷保博、タン ジェフリー トゥ チュアン
    • Total Pages
      320
    • Publisher
      講談社
    • ISBN
      4065289564
    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2026-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi