2022 Fiscal Year Annual Research Report
Development of Motion Generation Technology to Realize Robots that Perform Various Tasks according to Natural Language Instructions
| Project/Area Number |
21H04910
|
|---|
| Research Institution | OMRON SINIC X Corporation |
|---|
Principal Investigator |
橋本 敦史 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (80641753)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
牛久 祥孝 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, プリンシパルインベスティゲーター (10784142)
濱屋 政志 オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, シニアリサーチャー (10869176)
松原 崇充 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (20508056)
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| Project Period (FY) |
2021-04-05 – 2024-03-31
|
| Keywords | 自然言語処理 / クロスモーダル処理 / ロボティクス |
|---|
| Outline of Annual Research Achievements |
本研究の骨子は(A-1)言語指示からの環境・身体性非依存な動作記述生成、(A-2)力学的インタラクションに基づく動作系列の生成、(B-1) Inter-object centric
programmingに基づいたAPIの実現、ならびに(B-2) 力学的インタラクションに基づいた作業模倣の4つとなる。
このうち(A-1)について、昨年度から取り組みを開始した画像生成については、成功する場合もあるものの十分な性能を達成するところまでは至っていない。このため、現在は性能の向上に取り組んでいる。それに加え、以前より収集していた多数のキッチンでの調理を観測した大規模映像データに対して、昨年度策定のアノテーション基準に従ってアノテーションを開始している。(A-2)は昨年度、画像からわかる人と物体とのインタラクションの解析に注力するバックアッププランに転換をした。詳細動作認識のタスクで精度向上をすることができたが、動作抽出への応用などができていないため、十分なインタラクション解析技術の実現には至っていない。
(B-1)について、特定の食材を取ってきてぶつ切りにし、皿へ移動するまでに必要なスキルセット、および、それらの組合せによる実際の切断を行うことができた。また、既存のシミュレーターを改修し、力学的インタラクションを考慮した食材切断のシミュレーター開発の取り組みを開始した。
(B-2)について、昨年度開発した汎用性のあるグリッパによる食材把持技術を拡張し、未知食材についても把持を行う機械学習アルゴリズムを開発した。これにより、多様な食材を把持することができる状態となった。また、ぶつ切り以外の多様な切断パターンを生成する学習型アルゴリズムを開発した。これにより、把持と切断の個別タスクについては動作生成が可能になった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
A-1について、昨年度生じた計画の遅れを取り戻すことができていない。また、データセットの整備についてもアノテーションが複雑であり想定よりもさらに遅れている。既にルーチンワークには落ちているため、現在のペースであれば秋頃までには完了できる見込みである。
A2について、同様に昨年度生じた計画の遅れを取り戻せていない。
B-1について、2023年度より離脱したメンバーの代わりとなりうる人材を招くことができたため、今後、計画を加速さあせていく予定である。
B-2については食材の把持や切断の個別の動作については当初計画とは異なるアプローチとはなったが生成することができるようになった。
|
| Strategy for Future Research Activity |
多くの課題で遅れが生じているものの、B-2については想定より先に最低限のスキルに対応する動作生成手法を実現することができた。これを現在作成中のB-1と接続し、かつ、言語指示で制御可能とすることにより、今年度中のサラダ調理ロボットの完成を目指している。言語指示による完了状態の推定は精度の問題を内在しているが、当初から100%成功するロボットの実現ではなく、一つのパイプラインとして繋ぐことを目標としていることから、A-1の遅れについては問題がないと考えている。また、A-2の遅れについてはB-2を模倣学習によらない方法で実現したことから、一旦、最終的なシステムへの統合を見送ることができる状況にあると認識している。
|
