2023 Fiscal Year Annual Research Report
Development of Motion Generation Technology to Realize Robots that Perform Various Tasks according to Natural Language Instructions
| Project/Area Number |
21H04910
|
|---|
| Research Institution | OMRON SINIC X Corporation |
|---|
Principal Investigator |
橋本 敦史 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (80641753)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
牛久 祥孝 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, プリンシパルインベスティゲーター (10784142)
濱屋 政志 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (10869176)
松原 崇充 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (20508056)
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
ベルトランエルナンデス クリスティアンカミロ オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, リサーチエンジニア (30984017)
|
|---|
| Project Period (FY) |
2021-04-05 – 2024-03-31
|
| Keywords | 自然言語処理 / クロスモーダル処理 / ロボティクス |
|---|
| Outline of Annual Research Achievements |
当初計画では、行為の7段階モデルのうち、最初の4段階である目標の決定、意図の推定、行為の詳細化、行為の実行に着目して、言語指示に応じて動作する汎用ロボットのフレームワークを明らかにし、コンセプトの実証として、最低限のサラダを作ることができるロボットの実現を目標とした。ただし、目標の決定は自然言語による入力を受け付けることで人間が行うこととしており、実際の技術課題は(a)意図の推定、(b)行為の詳細化、(c)行為の実行の3つである。
最終的に、(a)-(c)をそれぞれ完成させることができた。
(b)については当初予定では自動生成を行う予定であったが、物の移動や引き出しの開閉といった単純な動作に関してはRT-Xなど別グループによって実現された。一方でRT-Xのような手法では、学習データが溜まっていない高度なスキルは組み合わせることが不可能であること、学習に含まれないロボットは動かせないこと、また、説明性が皆無であるといった多くの実用上の問題がある。これらの実用上の問題を解決するため、古典的なシンボリックプランナーであるPDDLを(b)に用いることで解決を行う方策を着想し、実現した。
(b)にPDDLを使うことを前提として、(a)では初期状態と目標状態のペアからなる「意図」を観測データと言語指示からPDDLのフォーマットで出力するViLaInという手法を実現した。また、(c)ではサラダに必須となり、かつ、RT-Xなどでは実行不可能な食材の切断スキルを学習する手法を開発した。
これらの成果は本実績報告の時点で、ICRA2024というロボティクスのトップカンファレンスで発表済みとなっている。また、PDDLからシンプルなサラダを作成するシステムまで作成し、論理的にはViLaInと接続することで言語指示により非常にシンプルなサラダまでは作ることができるようになった。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
