自然言語指示に応じて多様な作業を行うロボット実現のための動作生成技術の開発

2023 年度 実績報告書

• 研究課題/領域番号: 21H04910
• 研究機関: オムロンサイニックエックス株式会社
• 研究代表者: 橋本 敦史 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (80641753)
• 研究分担者: 井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397) ; 牛久 祥孝 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, プリンシパルインベスティゲーター (10784142) ; 濱屋 政志 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (10869176) ; 松原 崇充 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (20508056) ; 森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773) ; ベルトランエルナンデス クリスティアンカミロ オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, リサーチエンジニア (30984017)
• 研究期間 (年度): 2021-04-05 – 2024-03-31
• キーワード: 自然言語処理 / クロスモーダル処理 / ロボティクス

研究実績の概要

当初計画では、行為の7段階モデルのうち、最初の4段階である目標の決定、意図の推定、行為の詳細化、行為の実行に着目して、言語指示に応じて動作する汎用ロボットのフレームワークを明らかにし、コンセプトの実証として、最低限のサラダを作ることができるロボットの実現を目標とした。ただし、目標の決定は自然言語による入力を受け付けることで人間が行うこととしており、実際の技術課題は(a)意図の推定、(b)行為の詳細化、(c)行為の実行の3つである。
最終的に、(a)-(c)をそれぞれ完成させることができた。
(b)については当初予定では自動生成を行う予定であったが、物の移動や引き出しの開閉といった単純な動作に関してはRT-Xなど別グループによって実現された。一方でRT-Xのような手法では、学習データが溜まっていない高度なスキルは組み合わせることが不可能であること、学習に含まれないロボットは動かせないこと、また、説明性が皆無であるといった多くの実用上の問題がある。これらの実用上の問題を解決するため、古典的なシンボリックプランナーであるPDDLを(b)に用いることで解決を行う方策を着想し、実現した。
(b)にPDDLを使うことを前提として、(a)では初期状態と目標状態のペアからなる「意図」を観測データと言語指示からPDDLのフォーマットで出力するViLaInという手法を実現した。また、(c)ではサラダに必須となり、かつ、RT-Xなどでは実行不可能な食材の切断スキルを学習する手法を開発した。
これらの成果は本実績報告の時点で、ICRA2024というロボティクスのトップカンファレンスで発表済みとなっている。また、PDDLからシンプルなサラダを作成するシステムまで作成し、論理的にはViLaInと接続することで言語指示により非常にシンプルなサラダまでは作ることができるようになった。

現在までの達成度 (段落)

令和5年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和5年度が最終年度であるため、記入しない。

研究成果

• [雑誌論文] Recipe Generation from Unsegmented Cooking Videos (2024)
  • 著者名/発表者名: Nishimura Taichi、Hashimoto Atsushi、Ushiku Yoshitaka、Kameko Hirotaka、Mori Shinsuke
  • 雑誌名: ACM Transactions on Multimedia Computing, Communications, and Applications 巻: - ページ: -
  • DOI: 10.1145/3649137
  • 査読あり / オープンアクセス
• [雑誌論文] State-aware video procedural captioning (2023)
  • 著者名/発表者名: Nishimura Taichi、Hashimoto Atsushi、Ushiku Yoshitaka、Kameko Hirotaka、Mori Shinsuke
  • 雑誌名: Multimedia Tools and Applications 巻: 82 ページ: 37273～37301
  • DOI: 10.1007/s11042-023-14774-7
  • 査読あり
• [雑誌論文] 調理動作後の物体の視覚的状態予測を目指した Visual Recipe Flow データセットの構築と評価 (2023)
  • 著者名/発表者名: Shirai Keisuke、Hashimoto Atsushi、Nishimura Taichi、Kameko Hirotaka、Kurita Shuhei、Mori Shinsuke
  • 雑誌名: Journal of Natural Language Processing 巻: 30 ページ: 1042～1060
  • DOI: 10.5715/jnlp.30.1042
  • 査読あり / オープンアクセス
• [学会発表] Vision-Language Interpreter for Robot Task Planning (2024)
  • 著者名/発表者名: Keisuke Shirai, Cristian C. Beltran-Hernandez, Masashi Hamaya, Atsushi Hashimoto, Shohei Tanaka, Kento Kawaharazuka, Kazutoshi Tanaka, Yoshitaka Ushiku, and Shinsuke Mori
  • 学会等名: International Conference on Robotics and Automation
  • 国際学会
• [学会発表] PolarDB: Formula-driven Dataset for Pre-training Trajectory Encoders (2024)
  • 著者名/発表者名: Sota Miyamoto, Takuma Yagi, Yuto Makimoto, Mahiro Ukai, Yoshitaka Ushiku, Atsushi Hashimoto, Nakamasa Inoue
  • 学会等名: International Conference on Acoustics, Speech, and Signal Processing
  • 国際学会
• [学会発表] 「人と機械の融和における生成AIの社会実装」 (2024)
  • 著者名/発表者名: 橋本敦史
  • 学会等名: 日本鉄鋼協会 計測・制御・システム工学部会 シンポジウム「生成AIの産業応用における期待と課題」
  • 招待講演
• [学会発表] 調理作業理解のための言語資源付き固定視点映像データセットの構築 (2024)
  • 著者名/発表者名: 橋本 敦史, 前田 航希, 平澤 寅庄, 原島 純, Rybicki Leszek, 深澤 祐援, 牛久 祥孝
  • 学会等名: 人工知能学会全国大会
• [学会発表] SliceIt!--A Dual Simulator Framework for Learning Robot Food Slicing (2024)
  • 著者名/発表者名: Cristian C. Beltran-Hernandez, Nicolas Erbetti, and Masashi Hamaya.
  • 学会等名: International Conference on Robotics and Automation
  • 国際学会
• [学会発表] Integrated Task and Motion Planning for Real-World Cooking Tasks (2024)
  • 著者名/発表者名: Jeremy Siburian, Cristian Camilo Beltran-Hernandez, Masashi Hamaya
  • 学会等名: International Conference on Robotics and Automation Workshop
  • 国際学会
• [学会発表] Learning Food Picking without Food: Fracture Anticipation by Breaking Reusable Fragile Objects (2023)
  • 著者名/発表者名: Rinto Yagawa, Rena Ishikawa, Masashi Hamaya, Kazutoshi Tanaka, Atsushi Hashimoto, Hideo Saito
  • 学会等名: International Conference on Robotics and Automation
  • 国際学会
• [学会発表] Deep Segmented DMP Networks for Learning Discontinuous Motions (2023)
  • 著者名/発表者名: Edgar Anarossi, Hirotaka Tahara, Naoto Komeno, Takamitsu Matsubara
  • 学会等名: IEEE International Conference on Automation Science and Engineering
  • 国際学会
• [備考] Vision-Language Interpreter
  • URL: https://kskshr.github.io/vilain/
• [備考] SliceIt!
  • URL: https://omron-sinicx.github.io/sliceit/
• [備考] Integrated TaMP for Real-World Cooking Tasks
  • URL: https://www.youtube.com/watch?v=PS0CYS2NgZY