2021 Fiscal Year Annual Research Report
ロボットによる操作対象物体の外見的・内面的特徴に合わせた道具使用学習モデルの構築
| Project/Area Number |
20J21255
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
斎藤 菜美子 早稲田大学, 理工学術院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2020-04-24 – 2023-03-31
|
| Keywords | マニピュレーション / 深層学習 / マルチモーダル学習 / 道具使用 / ヒューマノイドロボット / 認識 |
|---|
| Outline of Annual Research Achievements |
物体の外的・内的特徴の能動知覚に基づく動作生成の研究成果を，ロボット系トップの国際会議の一つであるIEEE ICRA 2021にて発表し，Best Paper Award in Cognitive Roboticsを受賞し対外的にも高く評価された．この研究では，深層学習モデル内に操作対象物体の特徴・用いるべき道具・行動の仕方を表現する潜在空間を構築できるよう誤差関数を設計し学習した．そしてテスト時は，まずロボットに物体に触れさせる動作を行わせ，その間の視覚・触覚・力覚情報の時系列推移を基に，潜在空間を探索して，物体・道具・行動を特徴量にて表現させる．その後，この特徴量と毎ステップ入力される感覚運動情報を基に，道具を選択し，タスク達成のための動作を生成させた．このシステムを使って食材よそいを達成した。
また、どのような道具形状、物体形状、扱い方により、どのような効果（物体の振る舞い）が生じるか、という「道具使用の関係性」をロボットに獲得させる研究の成果を国際ジャーナルFrontiers Robotics & AIにて発表した。シンプルな道具・物体・行動・効果を様々な組み合わせで経験させた訓練データを学習し、道具使用の関係性を潜在空間に表現させる。学習した道具や物体よりも複雑な、未学習の道具や物体を対象にしても、目標の効果を示す画像を学習モデルに提示することで、映っている道具と物体の特徴を認識し、その効果を再現するのに適切な動作を実行することを実現した。
さらに、物体に合わせた動作生成を実現するために、効果的に触覚・力覚・視覚情報を活用する学習モデルを提案し、国際レターIEEE RA-Letterに掲載された。まず初期状態の画像情報を学習モデルに入力し、対象の形状を把握した後、継続的に触覚と力覚の時系列情報を入力し動作生成をさせるモデルが有効であると示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
権威ある学会での発表、論文投稿をコンスタントにこなしており、対外的にも評価される研究ができていると言える。計画に則り、課題を一つずつ解決し、研究を着実に進めている。
|
| Strategy for Future Research Activity |
次年度はエジンバラ大学・Alan Turing Instituteにてインターンをし、共同研究する.エジンバラ大学の学生や教員と研究計画や手法に関する議論を進め, ともにロボット実験を行い、共著の論文発表をすることを目指す．
エジンバラ大学では, 長期タスクのモーションプランニングを実現する深層学習モデルの研究を行う. 最終ゴールの画像を元に,中途の目標を表現するサブゴール画像を自動で生成できるネットワークを構築し,一つ一つサブゴールを達成していくような動作生成モデルを提案する.
|
