自然言語指示に応じて多様な作業を行うロボット実現のための動作生成技術の開発

2023 年度 研究成果報告書

• 研究課題/領域番号: 21H04910
• 研究種目: 基盤研究(A)
• 配分区分: 補助金
• 応募区分: 一般
• 審査区分: 中区分61:人間情報学およびその関連分野
• 研究機関: オムロンサイニックエックス株式会社
• 研究代表者: 橋本 敦史 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (80641753)
• 研究分担者: 井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397) ; 牛久 祥孝 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, プリンシパルインベスティゲーター (10784142) ; 濱屋 政志 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (10869176) ; 松原 崇充 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (20508056) ; 森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773) ; ベルトランエルナンデス クリスティアンカミロ オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, リサーチエンジニア (30984017) ; VON・DRIGALSKI FELIX オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (90869215)
• 研究期間 (年度): 2021-04-05 – 2024-03-31
• キーワード: 自然言語処理 / クロスモーダル処理 / ロボティクス

研究成果の概要

本プロジェクトでは、言語指示に基づいてロボットに作業をさせるための汎用計算モデルを開発しました。Normanの行為の7段階モデルに基づいて設計し、サラダを対象に言語制御によるロボットの動作フローをほぼ完成させました。計画問題記述言語（Planning Domain Definition Language: PDDL）を使用することで、説明性や信頼性を向上させ、学習データなしでの制御を実現しました。これにより、従来のブラックボックス型システムよりも実用的なシステムを構築できました。

自由記述の分野

コンピュータビジョン

研究成果の学術的意義や社会的意義

本プロジェクトでは言語指示に基づきロボットを操作する技術を開発した。同時期に複数の研究機関も類似の研究を行ったが、これらの研究では「意図の推定」という段階が見落とされていた。そのため、これらのシステムはロボットの身体性に依存し、個々のロボットに特化したモデルを開発する必要があった。さらに、動作の安全性の確保や言語指示が正しく解釈されたかの判定が難しくなる問題も存在した。本プロジェクトでは、言語指示とシーン観測から物体の初期状態と目標状態を出力する方法を確立した。これにより、特定のロボットに依存せず、結果を解釈可能で、かつ、安全性を担保すること可能となった。