Development of Motion Generation Technology to Realize Robots that Perform Various Tasks according to Natural Language Instructions
| Project/Area Number |
21H04910
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | OMRON SINIC X Corporation |
|---|
Principal Investigator |
橋本 敦史 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (80641753)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
牛久 祥孝 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, プリンシパルインベスティゲーター (10784142)
濱屋 政志 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (10869176)
松原 崇充 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (20508056)
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
ベルトランエルナンデス クリスティアンカミロ オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, リサーチエンジニア (30984017)
VON・DRIGALSKI FELIX オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (90869215)
|
|---|
| Project Period (FY) |
2021-04-05 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥41,990,000 (Direct Cost: ¥32,300,000、Indirect Cost: ¥9,690,000)
Fiscal Year 2023: ¥15,470,000 (Direct Cost: ¥11,900,000、Indirect Cost: ¥3,570,000)
Fiscal Year 2022: ¥14,820,000 (Direct Cost: ¥11,400,000、Indirect Cost: ¥3,420,000)
Fiscal Year 2021: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
|
|---|
| Keywords | 自然言語処理 / クロスモーダル処理 / ロボティクス |
|---|
| Outline of Research at the Start |
生産年齢人口が減少する中，ロボットの産業活用は喫緊の課題である．ロボットによる作業代替を低コストで実現する方法として言語指示の活用が注目されている．しかし，「言語指示→ロボット制御」の従来型演算モデルは特定の作業に特化したものとなってしまっている．
本研究では，多様な作業を対象とした汎用的な演算モデルを提案・検証する．
言語・映像資源が豊富な調理を対象とし，サラダなどの比較的簡単な料理を言語指示に従って調理するロボットを最終年度までに実現することでコンセプト実証を目指す．
|
| Outline of Annual Research Achievements |
当初計画では、行為の7段階モデルのうち、最初の4段階である目標の決定、意図の推定、行為の詳細化、行為の実行に着目して、言語指示に応じて動作する汎用ロボットのフレームワークを明らかにし、コンセプトの実証として、最低限のサラダを作ることができるロボットの実現を目標とした。ただし、目標の決定は自然言語による入力を受け付けることで人間が行うこととしており、実際の技術課題は(a)意図の推定、(b)行為の詳細化、(c)行為の実行の3つである。
最終的に、(a)-(c)をそれぞれ完成させることができた。
(b)については当初予定では自動生成を行う予定であったが、物の移動や引き出しの開閉といった単純な動作に関してはRT-Xなど別グループによって実現された。一方でRT-Xのような手法では、学習データが溜まっていない高度なスキルは組み合わせることが不可能であること、学習に含まれないロボットは動かせないこと、また、説明性が皆無であるといった多くの実用上の問題がある。これらの実用上の問題を解決するため、古典的なシンボリックプランナーであるPDDLを(b)に用いることで解決を行う方策を着想し、実現した。
(b)にPDDLを使うことを前提として、(a)では初期状態と目標状態のペアからなる「意図」を観測データと言語指示からPDDLのフォーマットで出力するViLaInという手法を実現した。また、(c)ではサラダに必須となり、かつ、RT-Xなどでは実行不可能な食材の切断スキルを学習する手法を開発した。
これらの成果は本実績報告の時点で、ICRA2024というロボティクスのトップカンファレンスで発表済みとなっている。また、PDDLからシンプルなサラダを作成するシステムまで作成し、論理的にはViLaInと接続することで言語指示により非常にシンプルなサラダまでは作ることができるようになった。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
Report
(4 results)
Research Products
(25 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Egocentric Biochemical Video-and-Language Dataset2021
Author(s)
Nishimura Taichi、Sakoda Kojiro、Hashimoto Atsushi、Ushiku Yoshitaka、Tanaka Natsuko、Ono Fumihito、Kameko Hirotaka、Mori Shinsuke
Organizer
The 4th Workshop on Closing the Loop Between Vision and Language in conjunction with ICCV2021
Related Report
Int'l Joint Research
-
-
-
-
-
-
-
