• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Knowledge Inference System for Robots Bridging Commonsense Written by Language and Real World Observation

Research Project

Project/Area Number 23K24910
Project/Area Number (Other) 22H03654 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionInstitute of Physical and Chemical Research

Principal Investigator

吉野 幸一郎  国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (70760148)

Co-Investigator(Kenkyū-buntansha) 須藤 克仁  奈良女子大学, 生活環境科学系, 教授 (00396152)
横井 祥  東北大学, 情報科学研究科, 助教 (60888949)
中村 泰  国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (70403334)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2025: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2024: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2022: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Keywords言語ロボティクス / 知識推論 / 言語モデル / 状況理解 / 自然言語処理 / 対話ロボット / 対話システム / 埋込表現 / 分散表現 / 対話 / ロボット / 動作生成 / ロボット対話 / 実世界接地 / 知能ロボティクス / 埋め込み表現 / 知識獲得
Outline of Research at the Start

人間の生活空間という実世界で補助タスクを行うロボットに対し、テキストで記述された知識を用いた知識推論を導入することで、様々な常識推論を可能にする知能ロボットシステムの構築を行う。この中で、実世界でロボットが観測した事物に応じて、知識推論基盤を柔軟に更新し、ロボット自身が経験から知識推論を新しくすることができる枠組みについて研究する。ここで用いる知識推論基盤、埋め込み表現と知識推論機構において、実世界における時間的・空間的なコンテキストを取り込み、テキストに記述された内容だけでなく、実世界のコンテキストを幅広く用いることができる知識推論基盤の構築を目指す。

Outline of Annual Research Achievements

人間の生活空間という実世界で補助タスクを行うロボットに対し、テキストで記述された知識を用いた知識推論を導入することで、様々な常識推論を可能にする知能ロボットシステムの構築を行う。この中で、実世界でロボットが観測した事物に応じて、知識推論基盤を柔軟に更新し、ロボット自身が経験から知識推論を新しくすることができる枠組みについて研究する。ここで用いる知識推論基盤、埋め込み表現と知識推論機構において、実世界における時間的・空間的なコンテキストを取り込み、テキストに記述された内容だけでなく、実世界のコンテキストを幅広く用いることができる知識推論基盤の構築を目指す。
本年度においては、実世界でのコンテキストを反映した知識推論モデルの構築や、このための埋め込み表現の研究を行った。まず、実世界の観測から得られたコンテキストによって知識推論を行う枠組みを構築し利用した。これをロボットに対して適用し、実空間のコンテキストに応じて実空間の事物やその関係について利活用した。構築された埋め込み・知識推論モデルに基づいて、ロボットが実世界から得られた観測に基づいて推論を行い、行動を決定するようなモデルを構築した。具体的には、これまでに本プロジェクトで構築した気が利くロボットのデータセットを用い、周囲の環境情報や知識推論の結果などによってロボットが行うべき行動を決定するモデルの構築を行った。この成果は国際誌の査読付き論文誌に掲載された。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

今年度はこれまでに定義してきた「気の利くロボット」に関するデータを用いて、気が利くロボットの行動を推論して導く知識推論モデルの構築および評価を行った。また、データセットの拡張も行った。ロボットの動作に関わるモデルとしては近年大規模言語モデルや事前学習モデルの利活用が注目されており、本課題においてもこうしたモデルの利活用を行った。その結果、ロボットが持つ周辺環境に関して様々な情報を明示的に推論へと導くことで、気の利くロボットの行動決定モデルの精度が大幅に強化されることがわかった。本内容は国際論文誌に投稿し掲載された。また、ロボットが行う演繹的な推論過程についての研究も行い、知識推論を用いた演繹的推論の利活用が、ナイーブな言語モデルや事前学習モデルの利活用よりも有効であり、またロボットの思考過程をユーザに提示する上でも有効であることが示された。これらのロボットシステムで用いる分散表現などに関わる基盤としては、分散表現にいくつかの観点を持ち込んで学習を行うモデルの有効性を示すことができ、これを査読付き国際会議で発表した。また、言語とロボットの融合という観点で言語処理学会2024年年次大会において「大規模言語モデルの実世界応用」ワークショップを主催し、非常に多くの参加者と有意義な議論を行うことができた。

Strategy for Future Research Activity

今年度は「気の利くロボット」の実現にあたり、実際に知識推論基盤を利活用するなど大きな進展があった。また一方で、世間としては大規模言語モデルの利活用が非常な注目を浴びるようになっており、そうした枠組みとの有機的な融合が期待される状況になりつつある。ロボット用の基盤モデルについて考えた場合、ロボットの一人称視点から得られる様々なセンサーデータと、ロボットのモーションから得られる軌跡などのデータを言語と結び付ける必要がある。こうした観点について、モデル学習とモデルにおける推論双方を踏まえた研究議論を展開し、今後の言語×ロボティクスの研究の方向性を明らかにしたいと考えている。また、実際にそうした方向からロボットの基盤モデルとなりうる目的関数や表現形式についての議論を行い、いくつか有望なものを実装するフェーズに移りたい。

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (26 results)

All 2024 2023 2022 Other

All Int'l Joint Research (2 results) Journal Article (5 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 5 results,  Open Access: 5 results) Presentation (18 results) (of which Int'l Joint Research: 4 results,  Invited: 1 results) Funded Workshop (1 results)

  • [Int'l Joint Research] 国立台湾大学(その他の国・地域)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] University of Trento(イタリア)

    • Related Report
      2023 Annual Research Report
  • [Journal Article] Do as I Demand, Not as I Say: A Dataset for Developing a Reflective Life-Support Robot2024

    • Author(s)
      Tanaka Shohei、Yamasaki Konosuke、Yuguchi Akishige、Kawano Seiya、Nakamura Satoshi、Yoshino Koichiro
    • Journal Title

      IEEE Access

      Volume: 12 Pages: 11774-11784

    • DOI

      10.1109/access.2024.3350174

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] ASMR: Augmenting Life Scenario using Large Generative Models for Robotic Action Reflection2024

    • Author(s)
      7.Shang-Chi Tsai, Seiya Kawano, Angel Garcia Contreras, Koichiro Yoshino, Yun-Nung Chen
    • Journal Title

      In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024

      Volume: 1 Pages: 1-14

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Operative Action Captioning for Estimating System Actions2023

    • Author(s)
      Nakamura Taiki、Kawano Seiya、Yuguchi Akishige、Kawanishi Yasutomo、Yoshino Koichiro
    • Journal Title

      In Proceedings of 2023 IEEE International Conference on Robotics and Automation (ICRA)

      Volume: 1 Pages: 1-6

    • DOI

      10.1109/icra48891.2023.10161545

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Reflective Action Selection Based on Positive-Unlabeled Learning and Causality Detection Model2023

    • Author(s)
      5.Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura
    • Journal Title

      Computer Speech & Language

      Volume: 78 Pages: 101463-101463

    • DOI

      10.1016/j.csl.2022.101463

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Pseudo Ambiguous and Clarifying Questions Based on Sentence Structures Toward Clarifying Question Answering System2022

    • Author(s)
      42.Yuya Nakano, Seiya Kawano, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura
    • Journal Title

      In Proceedings of Annual Meeting of the Association for Computational Linguistics DialDoc Workshop

      Volume: - Pages: 31-40

    • DOI

      10.18653/v1/2022.dialdoc-1.4

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] “ASMR: Augmenting Life Scenario using Large Generative Models for Robotic Action Reflection,”2024

    • Author(s)
      Shang-Chi Tsai, Seiya Kawano, Angel Garcia Contreras, Koichiro Yoshino, Yun-Nung Chen.
    • Organizer
      International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Improving the Image Discrimination Ability for CLIP-Model via Semantic Graphs through Graph2024

    • Author(s)
      Sangmyeong Lee, Seitaro Shinagawa, Koichiro Yoshino, Satoshi Nakamura
    • Organizer
      言語処理学会第30回年次大会,
    • Related Report
      2023 Annual Research Report
  • [Presentation] 行動知識系列を用いた気が利く行動選択の検討2024

    • Author(s)
      山崎 康之介, 田中 翔平, 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • Organizer
      第259回情報処理学会自然言語処理研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] “Operative Action Captioning for Estimating System Actions.”2023

    • Author(s)
      Taiki Nakamura, Seiya Kawano, Akishige Yuguchi, Yasutomo Kawanishi and Koichiro Yoshino.
    • Organizer
      2023 IEEE International Conference on Robotics and Automation (ICRA2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 生活空間を周回し自発的にユーザ補助を行う自律型対話ロボット2023

    • Author(s)
      Ahmad Huthaifa, Garcia Angel Contreras, 河野 誠也, Liu Chaoran, 湯口 彰重, 薗頭 元春, 川西 康友, 石井 カルロス寿憲, 港 隆史, 中村 泰, 〇吉野 幸一郎, Russka Heikki, 斉藤 康己, 美濃 導彦
    • Organizer
      第41回 日本ロボット学会学術講演会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 家庭内ロボットの気の利いた行動の実現に向けて2023

    • Author(s)
      山崎 康之介, 田中 翔平, 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • Organizer
      NLP若手の会シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] その研究ChatGPTでいいんじゃないですか?~LLM時代の対話システム研究~2023

    • Author(s)
      吉野 幸一郎
    • Organizer
      NLP若手の会シンポジウム
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] Reflective Robot Action Selection for An Ambiguous Utterance Using Explicit Commonsense Reasoning2023

    • Author(s)
      Konosuke Yamasaki, Shohei Tanaka, Seiya Kawano, Akishige Yuguchi, Koichiro Yoshino
    • Organizer
      Seventh International Workshop on Symbolic-Neural Learning (SNL2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 常識推論に基づく気の利いた家庭内ロボットの行動選択2023

    • Author(s)
      山崎 康之介, 田中 翔平, 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • Organizer
      言語処理学会第29回年次大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 実世界における総合的参照解析を目的としたマルチモーダル対話データセットの構築2023

    • Author(s)
      植田 暢大, 波部 英子, 湯口 彰重, 河野 誠也, 川西 康友, 黒橋 禎夫, 吉野 幸一郎
    • Organizer
      言語処理学会第29回年次大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 自律移動型ロボットにおける経験由来の情報量からの発話内容選択2023

    • Author(s)
      吉原 大智, 湯口 彰重, 河野 誠也, 飯尾 尊優, 吉野 幸一郎
    • Organizer
      言語処理学会第29回年次大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 観測した周囲の状況を曖昧な発話に統合した対話ロボットによる気の利いた行動選択2023

    • Author(s)
      田中 翔平, 山崎 康之介, 湯口 彰重, 河野 誠也, 中村 哲, 吉野 幸一郎
    • Organizer
      言語処理学会第29回年次大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 正準角および部分空間に基づく BERTScore の拡張2023

    • Author(s)
      石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲
    • Organizer
      言語処理学会第29回年次大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Pseudo Ambiguous and Clarifying Questions Based on Sentence Structures Toward Clarifying Question Answering System2022

    • Author(s)
      Yuya Nakano, Seiya Kawano, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura
    • Organizer
      In Proceedings of Annual Meeting of the Association for Computational Linguistics DialDoc Workshop
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 観測・記憶から状況に応じた説明を生成する自律移動型ロボット2022

    • Author(s)
      吉原 大智, 湯口 彰重, 河野 誠也, 飯尾 尊優, 吉野 幸一郎
    • Organizer
      第36回人工知能学会全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 常識推論に基づく気の利いた家庭内ロボットの行動選択に向けて2022

    • Author(s)
      山﨑 康之介. 田中 翔平. 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第93回)(SIG-SLUD)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 説明文生成を用いた動作行動予測2022

    • Author(s)
      中村 泰貴, 河野 誠也, 湯口 彰重, 川西 康友, 吉野 幸一郎
    • Organizer
      第253回情報処理学会自然言語処理研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 気の利いた家庭内ロボット開発のための曖昧なユーザ要求と周囲の状況の収集2022

    • Author(s)
      田中 翔平, 湯口 彰重, 河野 誠也, 中村 哲, 吉野 幸一郎
    • Organizer
      第253回情報処理学会自然言語処理研究会
    • Related Report
      2022 Annual Research Report
  • [Funded Workshop] The 14th International Workshop on Spoken Dialogue Systems Technology2024

    • Related Report
      2023 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi