Robotic Motion Generation by Categorizing and Imitating Demonstrated Trajectories

• Project/Area Number: 22K12205
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Osaka University
• Principal Investigator: 万 偉偉 大阪大学, 大学院基礎工学研究科, 准教授 (20760002)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: マニピュレータの動作生成 / 人の作業動作の分類 / 直感的な教示 / インターフェース / ロボット教示 / ロボット動作計画 / 模倣学習

Outline of Research at the Start

本研究では，AIを併用した教示に注目し，ヒトの指示棒を用いた指示を自動的に解析し，これをロボットの動作自動生成システムと結合することで，生物や化学分野の実験を直感的にロボット化することを目指す。特に，教示した動作の分類，同時計画を用いた把持の再選定とタスクの補整，分類に応じた動作の自動生成と統合などの課題に取り組んで，ヒトとロボットの把持と動作写像の不一致の問題，ヒトの指示動作の冗長性の問題，動作模倣と計画の役割の分割などの問題を解消する。

Outline of Annual Research Achievements

２０２２年度では，人間の指示動作の収集と分類作業に着目した。特に、ロボットマニピュレータがテーブルから皿を拾い上げ，天秤に落として重さを測定するタスクを想定した。ロボットマニピュレータのエンドエフェクタと同じダミーハンドを開発し，指示棒として人に使われた。このダミーハンドを使って人間が上記の拾い上げと測定作業を行うことで，ロボットマニピュレータの直感的なティーチングと動作生成を実装した。ダミーハンドには複数の光学式トラッキングマーカーを取り付け，人間による指示動作の軌跡を追跡し，解析やロボット動作生成のためのデータを集まった。共計，一人で５回のデモンストレーションを行い，５個の軌跡を収集した。これらの軌跡は，その平均値からの偏差によって３つに分類された。第１タイプの軌跡の偏差が大きく，ロボットの運動計画に適していた。第２タイプの軌跡は，偏差が穏やかなものであった。これは，線形近似に適していた。第３タイプの軌道は，１つの自由度には動く余裕があった一方（注：天秤のハンドルに沿って自由に動ける），残りの自由度では完全に拘束されていた。データ収集と分類の過程では，把持姿勢や作業空間での回転運動などが無視された。自動把持計画と推論を組み合わせながら，第１タイプと第２タイプの軌跡に従ってロボットの動作生成することが成功した。(注：把持計画・推論については，２０１９年度の先行研究に基づいたものでした。) 第３タイプの軌道には課題が残っていた。現在の解決策は，制約された自由度に完全に模倣することであった。全ての軌道が似たようなパターンを持つ場合に適用している。ただ，一般性は低いものであったと分かっている。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

指示棒の設計と実装，人の指示動作の軌跡の収集，軌跡の分類，実際のロボット動作の生成といった一連の作業を，この１年で実施できた。そのため，進捗はかなり順調と考えている。このような良い結果が得られたのは，研究を進める上で選択した特定のタスクによるところが大きいでした。ロボットマニピュレーターがテーブルから皿を拾い上げ，天秤の上に落として重さを測るというタスクに焦点を当てることで，ハードウェアの開発，ティーチングデータの収集、分類とロボット動作の生成の完成に至った。また，研究室既有の光学式トランキングシステム，ロボット制御システム，作業環境，以前開発したソフトモジュールなどもこの成果を上げるために大いに役立った。提案した方法は，上記の特定のタスクに対して成功することが実証された。一方，本手法を一般的なものにするために改善すべき点がいくつか残っている。この先の２年間は，それらに工夫を入れる予定である。

Strategy for Future Research Activity

残った二年間では，以下の二つのタスクに着目する予定である：(１)黒板消しをハンドに取り，黒板をきれいにする。(２)引き窓を開け，中へ移動して回りを検査する。この２つの方法に対する提案手法の一般性に注目し，特に第３タイプの運動軌跡に注目することにする。この２つのタスクに着目したい理由は，第３タイプの軌跡に於いて異なる制約があったからである。１番目のタスクは，黒板平面での自由度を持ち，黒板の法線方向に於いて厳密な制約があった。２つ目のタスクは，引き窓のハンドルに沿った自由度がある一方，他の運動方向には厳密な制約があった．また，この2つのタスクの以外に，人の実演と動作生成に回転運動も含めることも検討する。これまでの直動運動のみの解析とは違って，回転運動があると，タスクの制約がより複雑になる。その場合，第３タイプの軌跡をさらに細かく分類する必要があるかどうかは，まだ未解決の問題である。この問題に取り組むのは，より多くのデータを収集し，分析を行った後に明らかにすると考えている。なお，データ収集や解析の面だけでなく，指示棒の設計もアップデートしていくと考えている。上記の二つのタスクに対応できる一般的なロボットハンドと，そのダミーハンドを開発したいと考えている。ダミーハンドは，軌跡のほか，人間のデモンストレーションの際の手の回転運動や開閉運動も追跡できるようにする必要がある。ここでは，ＩＭＵや距離センサで実装したいと考えている。以上に述べられた流れの順番として，まずハンドの開発に集中する。その後，開発したハンドと指示棒を利用して，データの収集と分類を行い，上記の２つのタスクを実装する。