• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

言語で記述された常識と実世界の観察を統合するロボットのための知識推論システム

研究課題

研究課題/領域番号 23K24910
補助金の研究課題番号 22H03654 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分61030:知能情報学関連
研究機関国立研究開発法人理化学研究所

研究代表者

吉野 幸一郎  国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (70760148)

研究分担者 須藤 克仁  奈良女子大学, 生活環境科学系, 教授 (00396152)
横井 祥  東北大学, 情報科学研究科, 助教 (60888949)
中村 泰  国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (70403334)
研究期間 (年度) 2022-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2025年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2024年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
2022年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
キーワード言語ロボティクス / 知識推論 / 言語モデル / 状況理解 / 自然言語処理 / 対話ロボット / 対話システム / 埋込表現 / 分散表現 / 対話 / ロボット / 動作生成 / ロボット対話 / 実世界接地 / 知能ロボティクス / 埋め込み表現 / 知識獲得
研究開始時の研究の概要

人間の生活空間という実世界で補助タスクを行うロボットに対し、テキストで記述された知識を用いた知識推論を導入することで、様々な常識推論を可能にする知能ロボットシステムの構築を行う。この中で、実世界でロボットが観測した事物に応じて、知識推論基盤を柔軟に更新し、ロボット自身が経験から知識推論を新しくすることができる枠組みについて研究する。ここで用いる知識推論基盤、埋め込み表現と知識推論機構において、実世界における時間的・空間的なコンテキストを取り込み、テキストに記述された内容だけでなく、実世界のコンテキストを幅広く用いることができる知識推論基盤の構築を目指す。

研究実績の概要

人間の生活空間という実世界で補助タスクを行うロボットに対し、テキストで記述された知識を用いた知識推論を導入することで、様々な常識推論を可能にする知能ロボットシステムの構築を行う。この中で、実世界でロボットが観測した事物に応じて、知識推論基盤を柔軟に更新し、ロボット自身が経験から知識推論を新しくすることができる枠組みについて研究する。ここで用いる知識推論基盤、埋め込み表現と知識推論機構において、実世界における時間的・空間的なコンテキストを取り込み、テキストに記述された内容だけでなく、実世界のコンテキストを幅広く用いることができる知識推論基盤の構築を目指す。
本年度においては、実世界でのコンテキストを反映した知識推論モデルの構築や、このための埋め込み表現の研究を行った。まず、実世界の観測から得られたコンテキストによって知識推論を行う枠組みを構築し利用した。これをロボットに対して適用し、実空間のコンテキストに応じて実空間の事物やその関係について利活用した。構築された埋め込み・知識推論モデルに基づいて、ロボットが実世界から得られた観測に基づいて推論を行い、行動を決定するようなモデルを構築した。具体的には、これまでに本プロジェクトで構築した気が利くロボットのデータセットを用い、周囲の環境情報や知識推論の結果などによってロボットが行うべき行動を決定するモデルの構築を行った。この成果は国際誌の査読付き論文誌に掲載された。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

今年度はこれまでに定義してきた「気の利くロボット」に関するデータを用いて、気が利くロボットの行動を推論して導く知識推論モデルの構築および評価を行った。また、データセットの拡張も行った。ロボットの動作に関わるモデルとしては近年大規模言語モデルや事前学習モデルの利活用が注目されており、本課題においてもこうしたモデルの利活用を行った。その結果、ロボットが持つ周辺環境に関して様々な情報を明示的に推論へと導くことで、気の利くロボットの行動決定モデルの精度が大幅に強化されることがわかった。本内容は国際論文誌に投稿し掲載された。また、ロボットが行う演繹的な推論過程についての研究も行い、知識推論を用いた演繹的推論の利活用が、ナイーブな言語モデルや事前学習モデルの利活用よりも有効であり、またロボットの思考過程をユーザに提示する上でも有効であることが示された。これらのロボットシステムで用いる分散表現などに関わる基盤としては、分散表現にいくつかの観点を持ち込んで学習を行うモデルの有効性を示すことができ、これを査読付き国際会議で発表した。また、言語とロボットの融合という観点で言語処理学会2024年年次大会において「大規模言語モデルの実世界応用」ワークショップを主催し、非常に多くの参加者と有意義な議論を行うことができた。

今後の研究の推進方策

今年度は「気の利くロボット」の実現にあたり、実際に知識推論基盤を利活用するなど大きな進展があった。また一方で、世間としては大規模言語モデルの利活用が非常な注目を浴びるようになっており、そうした枠組みとの有機的な融合が期待される状況になりつつある。ロボット用の基盤モデルについて考えた場合、ロボットの一人称視点から得られる様々なセンサーデータと、ロボットのモーションから得られる軌跡などのデータを言語と結び付ける必要がある。こうした観点について、モデル学習とモデルにおける推論双方を踏まえた研究議論を展開し、今後の言語×ロボティクスの研究の方向性を明らかにしたいと考えている。また、実際にそうした方向からロボットの基盤モデルとなりうる目的関数や表現形式についての議論を行い、いくつか有望なものを実装するフェーズに移りたい。

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (26件)

すべて 2024 2023 2022 その他

すべて 国際共同研究 (2件) 雑誌論文 (5件) (うち国際共著 1件、 査読あり 5件、 オープンアクセス 5件) 学会発表 (18件) (うち国際学会 4件、 招待講演 1件) 学会・シンポジウム開催 (1件)

  • [国際共同研究] 国立台湾大学(その他の国・地域)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] University of Trento(イタリア)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Do as I Demand, Not as I Say: A Dataset for Developing a Reflective Life-Support Robot2024

    • 著者名/発表者名
      Tanaka Shohei、Yamasaki Konosuke、Yuguchi Akishige、Kawano Seiya、Nakamura Satoshi、Yoshino Koichiro
    • 雑誌名

      IEEE Access

      巻: 12 ページ: 11774-11784

    • DOI

      10.1109/access.2024.3350174

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] ASMR: Augmenting Life Scenario using Large Generative Models for Robotic Action Reflection2024

    • 著者名/発表者名
      7.Shang-Chi Tsai, Seiya Kawano, Angel Garcia Contreras, Koichiro Yoshino, Yun-Nung Chen
    • 雑誌名

      In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024

      巻: 1 ページ: 1-14

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Operative Action Captioning for Estimating System Actions2023

    • 著者名/発表者名
      Nakamura Taiki、Kawano Seiya、Yuguchi Akishige、Kawanishi Yasutomo、Yoshino Koichiro
    • 雑誌名

      In Proceedings of 2023 IEEE International Conference on Robotics and Automation (ICRA)

      巻: 1 ページ: 1-6

    • DOI

      10.1109/icra48891.2023.10161545

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Reflective Action Selection Based on Positive-Unlabeled Learning and Causality Detection Model2023

    • 著者名/発表者名
      5.Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura
    • 雑誌名

      Computer Speech & Language

      巻: 78 ページ: 101463-101463

    • DOI

      10.1016/j.csl.2022.101463

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Pseudo Ambiguous and Clarifying Questions Based on Sentence Structures Toward Clarifying Question Answering System2022

    • 著者名/発表者名
      42.Yuya Nakano, Seiya Kawano, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura
    • 雑誌名

      In Proceedings of Annual Meeting of the Association for Computational Linguistics DialDoc Workshop

      巻: - ページ: 31-40

    • DOI

      10.18653/v1/2022.dialdoc-1.4

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] “ASMR: Augmenting Life Scenario using Large Generative Models for Robotic Action Reflection,”2024

    • 著者名/発表者名
      Shang-Chi Tsai, Seiya Kawano, Angel Garcia Contreras, Koichiro Yoshino, Yun-Nung Chen.
    • 学会等名
      International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Improving the Image Discrimination Ability for CLIP-Model via Semantic Graphs through Graph2024

    • 著者名/発表者名
      Sangmyeong Lee, Seitaro Shinagawa, Koichiro Yoshino, Satoshi Nakamura
    • 学会等名
      言語処理学会第30回年次大会,
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 行動知識系列を用いた気が利く行動選択の検討2024

    • 著者名/発表者名
      山崎 康之介, 田中 翔平, 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • 学会等名
      第259回情報処理学会自然言語処理研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] “Operative Action Captioning for Estimating System Actions.”2023

    • 著者名/発表者名
      Taiki Nakamura, Seiya Kawano, Akishige Yuguchi, Yasutomo Kawanishi and Koichiro Yoshino.
    • 学会等名
      2023 IEEE International Conference on Robotics and Automation (ICRA2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 生活空間を周回し自発的にユーザ補助を行う自律型対話ロボット2023

    • 著者名/発表者名
      Ahmad Huthaifa, Garcia Angel Contreras, 河野 誠也, Liu Chaoran, 湯口 彰重, 薗頭 元春, 川西 康友, 石井 カルロス寿憲, 港 隆史, 中村 泰, 〇吉野 幸一郎, Russka Heikki, 斉藤 康己, 美濃 導彦
    • 学会等名
      第41回 日本ロボット学会学術講演会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 家庭内ロボットの気の利いた行動の実現に向けて2023

    • 著者名/発表者名
      山崎 康之介, 田中 翔平, 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • 学会等名
      NLP若手の会シンポジウム
    • 関連する報告書
      2023 実績報告書
  • [学会発表] その研究ChatGPTでいいんじゃないですか?~LLM時代の対話システム研究~2023

    • 著者名/発表者名
      吉野 幸一郎
    • 学会等名
      NLP若手の会シンポジウム
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] Reflective Robot Action Selection for An Ambiguous Utterance Using Explicit Commonsense Reasoning2023

    • 著者名/発表者名
      Konosuke Yamasaki, Shohei Tanaka, Seiya Kawano, Akishige Yuguchi, Koichiro Yoshino
    • 学会等名
      Seventh International Workshop on Symbolic-Neural Learning (SNL2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 常識推論に基づく気の利いた家庭内ロボットの行動選択2023

    • 著者名/発表者名
      山崎 康之介, 田中 翔平, 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 実世界における総合的参照解析を目的としたマルチモーダル対話データセットの構築2023

    • 著者名/発表者名
      植田 暢大, 波部 英子, 湯口 彰重, 河野 誠也, 川西 康友, 黒橋 禎夫, 吉野 幸一郎
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 自律移動型ロボットにおける経験由来の情報量からの発話内容選択2023

    • 著者名/発表者名
      吉原 大智, 湯口 彰重, 河野 誠也, 飯尾 尊優, 吉野 幸一郎
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 観測した周囲の状況を曖昧な発話に統合した対話ロボットによる気の利いた行動選択2023

    • 著者名/発表者名
      田中 翔平, 山崎 康之介, 湯口 彰重, 河野 誠也, 中村 哲, 吉野 幸一郎
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 正準角および部分空間に基づく BERTScore の拡張2023

    • 著者名/発表者名
      石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Pseudo Ambiguous and Clarifying Questions Based on Sentence Structures Toward Clarifying Question Answering System2022

    • 著者名/発表者名
      Yuya Nakano, Seiya Kawano, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura
    • 学会等名
      In Proceedings of Annual Meeting of the Association for Computational Linguistics DialDoc Workshop
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 観測・記憶から状況に応じた説明を生成する自律移動型ロボット2022

    • 著者名/発表者名
      吉原 大智, 湯口 彰重, 河野 誠也, 飯尾 尊優, 吉野 幸一郎
    • 学会等名
      第36回人工知能学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 常識推論に基づく気の利いた家庭内ロボットの行動選択に向けて2022

    • 著者名/発表者名
      山﨑 康之介. 田中 翔平. 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • 学会等名
      人工知能学会言語・音声理解と対話処理研究会(第93回)(SIG-SLUD)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 説明文生成を用いた動作行動予測2022

    • 著者名/発表者名
      中村 泰貴, 河野 誠也, 湯口 彰重, 川西 康友, 吉野 幸一郎
    • 学会等名
      第253回情報処理学会自然言語処理研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 気の利いた家庭内ロボット開発のための曖昧なユーザ要求と周囲の状況の収集2022

    • 著者名/発表者名
      田中 翔平, 湯口 彰重, 河野 誠也, 中村 哲, 吉野 幸一郎
    • 学会等名
      第253回情報処理学会自然言語処理研究会
    • 関連する報告書
      2022 実績報告書
  • [学会・シンポジウム開催] The 14th International Workshop on Spoken Dialogue Systems Technology2024

    • 関連する報告書
      2023 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi