Development of Motion Generation Technology to Realize Robots that Perform Various Tasks according to Natural Language Instructions
| Project/Area Number |
21H04910
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | OMRON SINIC X Corporation |
|---|
Principal Investigator |
橋本 敦史 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (80641753)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
牛久 祥孝 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, プリンシパルインベスティゲーター (10784142)
濱屋 政志 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (10869176)
松原 崇充 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (20508056)
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
ベルトランエルナンデス クリスティアンカミロ オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, リサーチエンジニア (30984017)
VON・DRIGALSKI FELIX オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (90869215)
|
|---|
| Project Period (FY) |
2021-04-05 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥41,990,000 (Direct Cost: ¥32,300,000、Indirect Cost: ¥9,690,000)
Fiscal Year 2023: ¥15,470,000 (Direct Cost: ¥11,900,000、Indirect Cost: ¥3,570,000)
Fiscal Year 2022: ¥14,820,000 (Direct Cost: ¥11,400,000、Indirect Cost: ¥3,420,000)
Fiscal Year 2021: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
|
|---|
| Keywords | 自然言語処理 / クロスモーダル処理 / ロボティクス |
|---|
| Outline of Research at the Start |
生産年齢人口が減少する中，ロボットの産業活用は喫緊の課題である．ロボットによる作業代替を低コストで実現する方法として言語指示の活用が注目されている．しかし，「言語指示→ロボット制御」の従来型演算モデルは特定の作業に特化したものとなってしまっている．
本研究では，多様な作業を対象とした汎用的な演算モデルを提案・検証する．
言語・映像資源が豊富な調理を対象とし，サラダなどの比較的簡単な料理を言語指示に従って調理するロボットを最終年度までに実現することでコンセプト実証を目指す．
|
| Outline of Annual Research Achievements |
本研究の骨子は(A-1)言語指示からの環境・身体性非依存な動作記述生成、(A-2)力学的インタラクションに基づく動作系列の生成、(B-1) Inter-object centric
programmingに基づいたAPIの実現、ならびに(B-2) 力学的インタラクションに基づいた作業模倣の4つとなる。
このうち(A-1)について、昨年度から取り組みを開始した画像生成については、成功する場合もあるものの十分な性能を達成するところまでは至っていない。このため、現在は性能の向上に取り組んでいる。それに加え、以前より収集していた多数のキッチンでの調理を観測した大規模映像データに対して、昨年度策定のアノテーション基準に従ってアノテーションを開始している。(A-2)は昨年度、画像からわかる人と物体とのインタラクションの解析に注力するバックアッププランに転換をした。詳細動作認識のタスクで精度向上をすることができたが、動作抽出への応用などができていないため、十分なインタラクション解析技術の実現には至っていない。
(B-1)について、特定の食材を取ってきてぶつ切りにし、皿へ移動するまでに必要なスキルセット、および、それらの組合せによる実際の切断を行うことができた。また、既存のシミュレーターを改修し、力学的インタラクションを考慮した食材切断のシミュレーター開発の取り組みを開始した。
(B-2)について、昨年度開発した汎用性のあるグリッパによる食材把持技術を拡張し、未知食材についても把持を行う機械学習アルゴリズムを開発した。これにより、多様な食材を把持することができる状態となった。また、ぶつ切り以外の多様な切断パターンを生成する学習型アルゴリズムを開発した。これにより、把持と切断の個別タスクについては動作生成が可能になった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
A-1について、昨年度生じた計画の遅れを取り戻すことができていない。また、データセットの整備についてもアノテーションが複雑であり想定よりもさらに遅れている。既にルーチンワークには落ちているため、現在のペースであれば秋頃までには完了できる見込みである。
A2について、同様に昨年度生じた計画の遅れを取り戻せていない。
B-1について、2023年度より離脱したメンバーの代わりとなりうる人材を招くことができたため、今後、計画を加速さあせていく予定である。
B-2については食材の把持や切断の個別の動作については当初計画とは異なるアプローチとはなったが生成することができるようになった。
|
| Strategy for Future Research Activity |
多くの課題で遅れが生じているものの、B-2については想定より先に最低限のスキルに対応する動作生成手法を実現することができた。これを現在作成中のB-1と接続し、かつ、言語指示で制御可能とすることにより、今年度中のサラダ調理ロボットの完成を目指している。言語指示による完了状態の推定は精度の問題を内在しているが、当初から100%成功するロボットの実現ではなく、一つのパイプラインとして繋ぐことを目標としていることから、A-1の遅れについては問題がないと考えている。また、A-2の遅れについてはB-2を模倣学習によらない方法で実現したことから、一旦、最終的なシステムへの統合を見送ることができる状況にあると認識している。
|
Report
(3 results)
Research Products
(11 results)
-
-
-
-
-
-
-
[Presentation] Egocentric Biochemical Video-and-Language Dataset2021
Author(s)
Nishimura Taichi、Sakoda Kojiro、Hashimoto Atsushi、Ushiku Yoshitaka、Tanaka Natsuko、Ono Fumihito、Kameko Hirotaka、Mori Shinsuke
Organizer
The 4th Workshop on Closing the Loop Between Vision and Language in conjunction with ICCV2021
Related Report
Int'l Joint Research
-
-
-
-
