• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

自然言語指示に応じて多様な作業を行うロボット実現のための動作生成技術の開発

研究課題

研究課題/領域番号 21H04910
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
審査区分 中区分61:人間情報学およびその関連分野
研究機関オムロンサイニックエックス株式会社

研究代表者

橋本 敦史  オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (80641753)

研究分担者 井上 中順  東京工業大学, 情報理工学院, 准教授 (10733397)
牛久 祥孝  オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, プリンシパルインベスティゲーター (10784142)
濱屋 政志  オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (10869176)
松原 崇充  奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (20508056)
森 信介  京都大学, 学術情報メディアセンター, 教授 (90456773)
ベルトランエルナンデス クリスティアンカミロ  オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, リサーチエンジニア (30984017)
VON・DRIGALSKI FELIX  オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (90869215)
研究期間 (年度) 2021-04-05 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
41,990千円 (直接経費: 32,300千円、間接経費: 9,690千円)
2023年度: 15,470千円 (直接経費: 11,900千円、間接経費: 3,570千円)
2022年度: 14,820千円 (直接経費: 11,400千円、間接経費: 3,420千円)
2021年度: 11,700千円 (直接経費: 9,000千円、間接経費: 2,700千円)
キーワード自然言語処理 / クロスモーダル処理 / ロボティクス
研究開始時の研究の概要

生産年齢人口が減少する中,ロボットの産業活用は喫緊の課題である.ロボットによる作業代替を低コストで実現する方法として言語指示の活用が注目されている.しかし,「言語指示→ロボット制御」の従来型演算モデルは特定の作業に特化したものとなってしまっている.
本研究では,多様な作業を対象とした汎用的な演算モデルを提案・検証する.
言語・映像資源が豊富な調理を対象とし,サラダなどの比較的簡単な料理を言語指示に従って調理するロボットを最終年度までに実現することでコンセプト実証を目指す.

研究成果の概要

本プロジェクトでは、言語指示に基づいてロボットに作業をさせるための汎用計算モデルを開発しました。Normanの行為の7段階モデルに基づいて設計し、サラダを対象に言語制御によるロボットの動作フローをほぼ完成させました。計画問題記述言語(Planning Domain Definition Language: PDDL)を使用することで、説明性や信頼性を向上させ、学習データなしでの制御を実現しました。これにより、従来のブラックボックス型システムよりも実用的なシステムを構築できました。

研究成果の学術的意義や社会的意義

本プロジェクトでは言語指示に基づきロボットを操作する技術を開発した。同時期に複数の研究機関も類似の研究を行ったが、これらの研究では「意図の推定」という段階が見落とされていた。そのため、これらのシステムはロボットの身体性に依存し、個々のロボットに特化したモデルを開発する必要があった。さらに、動作の安全性の確保や言語指示が正しく解釈されたかの判定が難しくなる問題も存在した。本プロジェクトでは、言語指示とシーン観測から物体の初期状態と目標状態を出力する方法を確立した。これにより、特定のロボットに依存せず、結果を解釈可能で、かつ、安全性を担保すること可能となった。

報告書

(5件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実績報告書
  • 2021 審査結果の所見   実績報告書
  • 研究成果

    (25件)

すべて 2024 2023 2022 2021 その他

すべて 雑誌論文 (5件) (うち査読あり 3件、 オープンアクセス 2件) 学会発表 (16件) (うち国際学会 10件、 招待講演 3件) 備考 (3件) 産業財産権 (1件)

  • [雑誌論文] Recipe Generation from Unsegmented Cooking Videos2024

    • 著者名/発表者名
      Nishimura Taichi、Hashimoto Atsushi、Ushiku Yoshitaka、Kameko Hirotaka、Mori Shinsuke
    • 雑誌名

      ACM Transactions on Multimedia Computing, Communications, and Applications

      巻: -

    • DOI

      10.1145/3649137

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] State-aware video procedural captioning2023

    • 著者名/発表者名
      Nishimura Taichi、Hashimoto Atsushi、Ushiku Yoshitaka、Kameko Hirotaka、Mori Shinsuke
    • 雑誌名

      Multimedia Tools and Applications

      巻: 82 号: 24 ページ: 37273-37301

    • DOI

      10.1007/s11042-023-14774-7

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] 調理動作後の物体の視覚的状態予測を目指した Visual Recipe Flow データセットの構築と評価2023

    • 著者名/発表者名
      白井 圭佑, 橋本 敦史, 西村 太一, 亀甲 博貴, 栗田 修平, 森 信介
    • 雑誌名

      自然言語処理

      巻: 30 号: 3 ページ: 1042-1060

    • DOI

      10.5715/jnlp.30.1042

    • ISSN
      1340-7619, 2185-8314
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Learning by Breaking: Food Fracture Anticipation for Robotic Food Manipulation2022

    • 著者名/発表者名
      Ishikawa Reina、Hamaya Masashi、Von Drigalski Felix、Tanaka Kazutoshi、Hashimoto Atsushi
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 99321-99329

    • DOI

      10.1109/access.2022.3207491

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] BioVL2データセット:生化学分野における一人称視点の実験映像への言語アノテーション2022

    • 著者名/発表者名
      Nishimura Taichi、Sakoda Kojiro、Ushiku Atsushi、Hashimoto Atsushi、Okuda Natsuko、Ono Fumihito、Kameko Hirotaka、Mori Shinsuke
    • 雑誌名

      自然言語処理

      巻: 29 号: 4 ページ: 1106-1137

    • DOI

      10.5715/jnlp.29.1106

    • ISSN
      1340-7619, 2185-8314
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Vision-Language Interpreter for Robot Task Planning2024

    • 著者名/発表者名
      Keisuke Shirai, Cristian C. Beltran-Hernandez, Masashi Hamaya, Atsushi Hashimoto, Shohei Tanaka, Kento Kawaharazuka, Kazutoshi Tanaka, Yoshitaka Ushiku, and Shinsuke Mori
    • 学会等名
      International Conference on Robotics and Automation
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] PolarDB: Formula-driven Dataset for Pre-training Trajectory Encoders2024

    • 著者名/発表者名
      Sota Miyamoto, Takuma Yagi, Yuto Makimoto, Mahiro Ukai, Yoshitaka Ushiku, Atsushi Hashimoto, Nakamasa Inoue
    • 学会等名
      International Conference on Acoustics, Speech, and Signal Processing
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 「人と機械の融和における生成AIの社会実装」2024

    • 著者名/発表者名
      橋本敦史
    • 学会等名
      日本鉄鋼協会 計測・制御・システム工学部会 シンポジウム「生成AIの産業応用における期待と課題」
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] 調理作業理解のための言語資源付き固定視点映像データセットの構築2024

    • 著者名/発表者名
      橋本 敦史, 前田 航希, 平澤 寅庄, 原島 純, Rybicki Leszek, 深澤 祐援, 牛久 祥孝
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] SliceIt!--A Dual Simulator Framework for Learning Robot Food Slicing2024

    • 著者名/発表者名
      Cristian C. Beltran-Hernandez, Nicolas Erbetti, and Masashi Hamaya.
    • 学会等名
      International Conference on Robotics and Automation
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Integrated Task and Motion Planning for Real-World Cooking Tasks2024

    • 著者名/発表者名
      Jeremy Siburian, Cristian Camilo Beltran-Hernandez, Masashi Hamaya
    • 学会等名
      International Conference on Robotics and Automation Workshop
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Learning Food Picking without Food: Fracture Anticipation by Breaking Reusable Fragile Objects2023

    • 著者名/発表者名
      Rinto Yagawa, Rena Ishikawa, Masashi Hamaya, Kazutoshi Tanaka, Atsushi Hashimoto, Hideo Saito
    • 学会等名
      International Conference on Robotics and Automation
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Deep Segmented DMP Networks for Learning Discontinuous Motions2023

    • 著者名/発表者名
      Edgar Anarossi, Hirotaka Tahara, Naoto Komeno, Takamitsu Matsubara
    • 学会等名
      IEEE International Conference on Automation Science and Engineering
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 手の軌道特徴を用いた一人称視点料理動画における詳細動作認識2023

    • 著者名/発表者名
      宮本蒼太, 八木拓真, 牛久祥孝, 橋本敦史, 井上中順
    • 学会等名
      電子情報通信学会PRMU研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows2022

    • 著者名/発表者名
      Keisuke Shirai, Atsushi Hashimoto, Taichi Nishimura, Hirotaka Kameko, Shuhei Kurita, Yoshitaka Ushiku, Shinsuke Mori
    • 学会等名
      COLING2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Cross-modal Representation Learning for Understanding Manufacturing Procedure2022

    • 著者名/発表者名
      Atsushi Hashimoto, Taichi Nishimura, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori
    • 学会等名
      HCII2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] レシピ分野における動作対象の状態変化を考慮したデータセットの構築と検索モデルの提案2022

    • 著者名/発表者名
      白井圭佑, 橋本敦史, 牛久祥孝, 栗田修平, 亀甲博貴, 森信介
    • 学会等名
      言語処理学会第28回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Egocentric Biochemical Video-and-Language Dataset2021

    • 著者名/発表者名
      Nishimura Taichi、Sakoda Kojiro、Hashimoto Atsushi、Ushiku Yoshitaka、Tanaka Natsuko、Ono Fumihito、Kameko Hirotaka、Mori Shinsuke
    • 学会等名
      The 4th Workshop on Closing the Loop Between Vision and Language in conjunction with ICCV2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] State-aware Video Procedural Captioning2021

    • 著者名/発表者名
      Nishimura Taichi、Hashimoto Atsushi、Ushiku Yoshitaka、Kameko Hirotaka、Mori Shinsuke
    • 学会等名
      The 29th ACM International Conference on Multimedia
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 自然言語に応じて多様な作業を行うロボット実現に向けたクロスモーダル機械学習の取り組み2021

    • 著者名/発表者名
      橋本敦史
    • 学会等名
      日本ロボット学会データ工学ロボティクス研究専門委員会主催公開講演会
    • 関連する報告書
      2021 実績報告書
    • 招待講演
  • [学会発表] クロスモーダル処理技術が統合する視覚・言語・ロボット制御技術の未来2021

    • 著者名/発表者名
      橋本敦史
    • 学会等名
      日本機械学会年次大会
    • 関連する報告書
      2021 実績報告書
    • 招待講演
  • [備考] Vision-Language Interpreter

    • URL

      https://kskshr.github.io/vilain/

    • 関連する報告書
      2023 実績報告書
  • [備考] SliceIt!

    • URL

      https://omron-sinicx.github.io/sliceit/

    • 関連する報告書
      2023 実績報告書
  • [備考] Integrated TaMP for Real-World Cooking Tasks

    • URL

      https://www.youtube.com/watch?v=PS0CYS2NgZY

    • 関連する報告書
      2023 実績報告書
  • [産業財産権] 制御装置、制御方法、及び制御プログラム2022

    • 発明者名
      濱屋政志、石川玲奈、橋本敦史、田中一敏
    • 権利者名
      濱屋政志、石川玲奈、橋本敦史、田中一敏
    • 産業財産権種類
      特許
    • 出願年月日
      2022
    • 関連する報告書
      2021 実績報告書

URL: 

公開日: 2021-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi