ロボットによる操作対象物体の外見的・内面的特徴に合わせた道具使用学習モデルの構築

2021 年度 実績報告書

• 研究課題/領域番号: 20J21255
• 研究機関: 早稲田大学
• 研究代表者: 斎藤 菜美子 早稲田大学, 理工学術院, 特別研究員(DC1)
• 研究期間 (年度): 2020-04-24 – 2023-03-31
• キーワード: マニピュレーション / 深層学習 / マルチモーダル学習 / 道具使用 / ヒューマノイドロボット / 認識

研究実績の概要

物体の外的・内的特徴の能動知覚に基づく動作生成の研究成果を，ロボット系トップの国際会議の一つであるIEEE ICRA 2021にて発表し，Best Paper Award in Cognitive Roboticsを受賞し対外的にも高く評価された．この研究では，深層学習モデル内に操作対象物体の特徴・用いるべき道具・行動の仕方を表現する潜在空間を構築できるよう誤差関数を設計し学習した．そしてテスト時は，まずロボットに物体に触れさせる動作を行わせ，その間の視覚・触覚・力覚情報の時系列推移を基に，潜在空間を探索して，物体・道具・行動を特徴量にて表現させる．その後，この特徴量と毎ステップ入力される感覚運動情報を基に，道具を選択し，タスク達成のための動作を生成させた．このシステムを使って食材よそいを達成した。
また、どのような道具形状、物体形状、扱い方により、どのような効果（物体の振る舞い）が生じるか、という「道具使用の関係性」をロボットに獲得させる研究の成果を国際ジャーナルFrontiers Robotics & AIにて発表した。シンプルな道具・物体・行動・効果を様々な組み合わせで経験させた訓練データを学習し、道具使用の関係性を潜在空間に表現させる。学習した道具や物体よりも複雑な、未学習の道具や物体を対象にしても、目標の効果を示す画像を学習モデルに提示することで、映っている道具と物体の特徴を認識し、その効果を再現するのに適切な動作を実行することを実現した。
さらに、物体に合わせた動作生成を実現するために、効果的に触覚・力覚・視覚情報を活用する学習モデルを提案し、国際レターIEEE RA-Letterに掲載された。まず初期状態の画像情報を学習モデルに入力し、対象の形状を把握した後、継続的に触覚と力覚の時系列情報を入力し動作生成をさせるモデルが有効であると示した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

権威ある学会での発表、論文投稿をコンスタントにこなしており、対外的にも評価される研究ができていると言える。計画に則り、課題を一つずつ解決し、研究を着実に進めている。

今後の研究の推進方策

次年度はエジンバラ大学・Alan Turing Instituteにてインターンをし、共同研究する.エジンバラ大学の学生や教員と研究計画や手法に関する議論を進め, ともにロボット実験を行い、共著の論文発表をすることを目指す．
エジンバラ大学では, 長期タスクのモーションプランニングを実現する深層学習モデルの研究を行う. 最終ゴールの画像を元に,中途の目標を表現するサブゴール画像を自動で生成できるネットワークを構築し,一つ一つサブゴールを達成していくような動作生成モデルを提案する.

研究成果

• [雑誌論文] How to Select and Use Tools? : Active Perception of Target Objects Using Multimodal Deep Learning (2021)
  • 著者名/発表者名: Saito Namiko、Ogata Tetsuya、Funabashi Satoshi、Mori Hiroki、Sugano Shigeki
  • 雑誌名: IEEE Robotics and Automation Letters 巻: 6 ページ: 2517～2524
  • DOI: 10.1109/LRA.2021.3062004
• [雑誌論文] Bayesian Estimation of Model Parameters of Equivalent Circuit Model for Detecting Degradation Parts of Lithium-Ion Battery (2021)
  • 著者名/発表者名: Miyake Tamon、Suzuki Tomoyuki、Funabashi Satoshi、Saito Namiko、Kamezaki Mitsuhiro、Shoda Takahiro、Saigo Tsutomu、Sugano Shigeki
  • 雑誌名: IEEE Access 巻: 9 ページ: 159699～159713
  • DOI: 10.1109/ACCESS.2021.3131190
• [雑誌論文] Tool-Use Model to Reproduce the Goal Situations Considering Relationship Among Tools, Objects, Actions and Effects Using Multimodal Deep Neural Networks (2021)
  • 著者名/発表者名: Saito Namiko、Ogata Tetsuya、Mori Hiroki、Murata Shingo、Sugano Shigeki
  • 雑誌名: Frontiers in Robotics and AI 巻: 8 ページ: ～
  • DOI: 10.3389/frobt.2021.748716