• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

生活支援ロボットの多拠点間マルチモーダル知識転移を実現するシステム基盤創成

Research Project

Project/Area Number 22K12212
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61050:Intelligent robotics-related
Research InstitutionRitsumeikan University

Principal Investigator

萩原 良信  立命館大学, 総合科学技術研究機構, 准教授 (20609416)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords転移学習 / 記号創発ロボティクス / 生活支援ロボット / カテゴリゼーション / 生成モデル / ベイズ推論 / 知識転移
Outline of Research at the Start

家庭環境は,未知の物体や場所の知識で溢れている.生活支援ロボットがこれらの知識をユーザとの限られたインタラクションの中から獲得するには,ロボット個体が得た観測のみならず,複数ロボットが獲得した知識も活用しながら学習する事が望ましい.本研究では,複数ロボットが獲得した観測から物体や場所の一般的な知識を形成し,この知識を効果的に用いた環境適応を実現する知識転移システムの基盤を創成する.これにより,多様なユーザや環境とのインタラクションに根ざした一般常識の形成と一般常識を効果的に用いた環境適応を可能とする自律的な転移学習システムの設計論の道が開かれる.

Outline of Annual Research Achievements

今年度は,前年度に開発した学習モジュールを実際の複数ロボットにおいて実現する計算論モデルを構築し,仮想環境の知識転移の実験において評価した.
具体的には,複数のロボットが異なる環境で獲得した観測をサーバ上に実装された汎化モジュールに集約し,ロボットに対して汎化された場所概念の学習を行った.また,この学習において推定されたモデルのパラメータを新規の環境で学習する他のロボットにおける場所概念モデルのプライア(事前分布)として与える事でロボット間の知識転移を実施した.この実験の結果,場所概念の知識転移を用いる事により,用いない場合よりも少ない学習データで高精度な場所の名前の予測が達成できる事を明らかになった.現在は,論文投稿に向けて知識転移に関する他手法(基盤モデルを用いた手法,環境間の知識転移の手法)との比較評価実験を進めている。
このとき,複数のロボットの観測が集まる汎化モジュールにおいては,膨大な観測情報からの推論が必要になり,計算コストが増大する.この問題に対して,効果的に学習データを収集するための能動学習の枠組みを当該システムに取り入れた.具体的には,情報利得に基づく場所概念の能動探索手法を基盤として期待自由エネルギーの計算を取り入れたモデルの研究を進めている.
さらに,実世界の多様な対象の学習を可能とするため,基盤モデル等の生成モデルに基づく場所概念モデルの拡張にも取り組み,MNIST等のデータセットにおいて予備実験を進めた.
今年度は,英語原著論文2件,国際会議論文3件,国内学会発表5件の研究成果を収めた.また,日本ロボット学会学術講演会において,HSRコミュニティ優秀論文賞,RoboCup Japan Open 2023において,日本ロボット学会賞,ロボカップ研究賞を受賞,同競技会の@Home DSPL Techinical Challengeにおいて準優勝を果たした.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

予定通り,ロボット間の知識転移のモデルを各ロボットに実装し,仮想環境での評価実験において提案モデルにより学習が高速化できる事が示された.また,論文執筆に向けた他手法との比較評価実験も順調に進んでいる.学習に用いるデータ収集のコストを低減するための能動学習の理論についても場所概念の能動学習のモデルを基盤として順調に調査と実装が進んでいる.さらに,実世界の多様な対象の表現学習のためのVAEに基づく学習モデルの構築も順調に進んでおり,次年度には,実世界画像を観測とした学習に移る予定である.以上のように,おおむね順調に進展している状況である.

Strategy for Future Research Activity

構成した計算論モデルを生活支援ロボットに実装して実践的なタスクにおける有効性を評価する.まず,シミュレータを用いた生活支援タスクの実験から当該モデルの有効性を評価する.シミュレータは,人間が仮想世界にログインしてロボットとインタラクションする事が可能な社会的知能発生学シミュレータ:SIGVerseを用いる.具体的には,クラウドサービスに汎化モジュールと個体モジュールを実装し,研究代表者が若手研究B(2015 年採択)で構築したマルチモーダル情報に基づく概念学習基盤:SIGVerse+L を用いてロボット間の概念の転移学習を行い,生活支援タスクにおける有効性を評価する.
次に,個体モジュールを実世界の生活支援ロボット:HSR(トヨタ自動車製)に実装し,実際の複数の家庭環境における当該モデルの有効性を評価する.実験は,SIGVerse の提案者である国立情報学研究所の稲邑哲也及び,代表者が委員を務めるロボット学会インテリジェントホームロボティクス研究会及びトヨタHSR コミュニティの支援を得て実施する.

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (20 results)

All 2024 2023 2022

All Journal Article (8 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 8 results,  Open Access: 2 results) Presentation (11 results) Book (1 results)

  • [Journal Article] Interactive Learning System for 3D Semantic Segmentation with Autonomous Mobile Robots2024

    • Author(s)
      Akinori Kanechika, Lotfi El Hafi, Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi
    • Journal Title

      Proceedings of 2024 IEEE/SICE International Symposium on System Integration (SII 2024)

      Volume: - Pages: 1274-1281

    • DOI

      10.1109/sii58957.2024.10417237

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Integrating probabilistic logic and multimodal spatial concepts for efficient robotic object search in home environments2023

    • Author(s)
      Hasegawa Shoichi、Taniguchi Akira、Hagiwara Yoshinobu、El Hafi Lotfi、Taniguchi Tadahiro
    • Journal Title

      SICE Journal of Control, Measurement, and System Integration

      Volume: 16 Issue: 1 Pages: 400-422

    • DOI

      10.1080/18824889.2023.2283954

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Active exploration based on information gain by particle filter for efficient spatial concept formation2023

    • Author(s)
      Taniguchi Akira、Tabuchi Yoshiki、Ishikawa Tomochika、El Hafi Lotfi、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      Advanced Robotics

      Volume: 37 Issue: 13 Pages: 840-870

    • DOI

      10.1080/01691864.2023.2225175

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Active Semantic Mapping for Household Robots: Rapid Indoor Adaptation and Reduced User Burden2023

    • Author(s)
      Ishikawa Tomochika、Taniguchi Akira、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      2023 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

      Volume: - Pages: 3116-3123

    • DOI

      10.1109/smc53992.2023.10394143

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Exophora Resolution of Linguistic Instructions with a Demonstrative based on Real-World Multimodal Information2023

    • Author(s)
      Oyama Akira、Hasegawa Shoichi、Nakagawa Hikaru、Taniguchi Akira、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      2023 32nd IEEE International Conference on Robot and Human Interactive Communication (RO-MAN)

      Volume: - Pages: 2617-2623

    • DOI

      10.1109/ro-man57019.2023.10309487

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Inferring Place-Object Relationships by Integrating Probabilistic Logic and Multimodal Spatial Concepts2023

    • Author(s)
      Hasegawa Shoichi、Taniguchi Akira、Hagiwara Yoshinobu、El Hafi Lotfi、Taniguchi Tadahiro
    • Journal Title

      2023 IEEE/SICE International Symposium on System Integration (SII)

      Volume: - Pages: 1-8

    • DOI

      10.1109/sii55687.2023.10039318

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Multimodal Object Categorization with Reduced User Load through Human-Robot Interaction in Mixed Reality2022

    • Author(s)
      Nakamura Hitoshi、Hafi Lotfi El、Taniguchi Akira、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

      Volume: - Pages: 2143-2150

    • DOI

      10.1109/iros47612.2022.9981374

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Symbol Emergence as Inter-personal Categorization with Head-to-head Latent Word2022

    • Author(s)
      Furukawa Kazuma、Taniguchi Akira、Hagiwara Yoshinobu、Taniguchi Tadahiro
    • Journal Title

      2022 IEEE International Conference on Development and Learning (ICDL)

      Volume: - Pages: 60-67

    • DOI

      10.1109/icdl53763.2022.9962227

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Presentation] 現場環境で学習した知識に基づく曖昧な発話からの生活物理支援タスク2023

    • Author(s)
      萩原良信,長谷川翔一,大山瑛,谷口彰,エルハフィロトフィ,谷口忠大
    • Organizer
      第41回 日本ロボット学会 学術講演会
    • Related Report
      2023 Research-status Report
  • [Presentation] 生活支援ロボットの行動計画のための大規模言語モデルと場所概念モデルの活用2023

    • Author(s)
      長谷川翔一,伊藤昌樹,山木良輔,坂口太一,萩原良信,谷口彰,エルハフィロトフィ,谷口忠大
    • Organizer
      第41回 日本ロボット学会 学術講演会
    • Related Report
      2023 Research-status Report
  • [Presentation] 自己蒸留と3次元地図を用いた生活支援ロボットによる類似物体探索2023

    • Author(s)
      坂口太一,谷口彰,萩原良信,谷口忠大
    • Organizer
      第41回 日本ロボット学会 学術講演会
    • Related Report
      2023 Research-status Report
  • [Presentation] 地図とマルチモーダル場所概念の同時学習のための能動探索手法と基盤モデル活用2023

    • Author(s)
      石川 朋親、谷口 彰、萩原 良信、谷口 忠大
    • Organizer
      第37回人工知能学会全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 大規模言語モデルと場所概念モデルの統合による未観測物体の語彙を含んだ言語指示理解2023

    • Author(s)
      長谷川 翔一、山木 良輔、谷口 彰、萩原 良信、エル ハフィ ロトフィ、谷口 忠大
    • Organizer
      第37回人工知能学会全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 実世界のマルチモーダル情報に基づく指示語を含んだ言語指示の外部照応解析2023

    • Author(s)
      大山瑛,長谷川翔一,中川光,谷口彰,萩原良信,谷口忠大
    • Organizer
      言語処理学会第29回年次大会
    • Related Report
      2022 Research-status Report
  • [Presentation] ROS2とPythonを使ったAIロボット入門教材 ―趣旨・音声認識/合成・プランニング―2022

    • Author(s)
      萩原良信,升谷保博,出村公成,タンジェフリートゥチュアン,伊藤昌樹
    • Organizer
      第40回 日本ロボット学会 学術講演会
    • Related Report
      2022 Research-status Report
  • [Presentation] 語彙の合成性を有するマルチモーダル記号創発2022

    • Author(s)
      古川和磨,萩原良信,谷口彰,谷口忠大
    • Organizer
      第36回人工知能学会全国大会(JSAI2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] 変分オートエンコーダを活用した実画像からの記号創発2022

    • Author(s)
      吉田悠人,萩原良信,谷口彰,谷口忠大
    • Organizer
      第36回人工知能学会全国大会(JSAI2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] 確率論理と場所概念を結合したモデルによる場所の学習コストの削減2022

    • Author(s)
      長谷川翔一,萩原良信,谷口彰,エフハフィロトフィ,谷口忠大
    • Organizer
      第36回人工知能学会全国大会(JSAI2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] ROS2とPythonを使ったAIロボット入門教材の開発2022

    • Author(s)
      出村公成, 萩原良信, 升谷保博, タン ジェフリー トゥ チュアン
    • Organizer
      ロボティクス・メカトロニクス講演会2022
    • Related Report
      2022 Research-status Report
  • [Book] ROS2とPythonで作って学ぶAIロボット入門2022

    • Author(s)
      出村公成、萩原良信、升谷保博、タン ジェフリー トゥ チュアン
    • Total Pages
      320
    • Publisher
      講談社
    • ISBN
      4065289564
    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi