• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

ロボットによる操作対象物体の外見的・内面的特徴に合わせた道具使用学習モデルの構築

Research Project

Project/Area Number 20J21255
Research InstitutionWaseda University

Principal Investigator

斎藤 菜美子  早稲田大学, 理工学術院, 特別研究員(DC1)

Project Period (FY) 2020-04-24 – 2023-03-31
Keywordsマニピュレーション / 深層学習 / マルチモーダル学習 / 道具使用 / ヒューマノイドロボット / 認識
Outline of Annual Research Achievements

近年少子高齢化により、ロボットに日常タスク支援をさせる需要が高まっている。特に家事支援ロボット実現するには、操作対象物体の形・大きさといった外的特徴と、重さ・硬さ・摩擦力・粘度といった内的特徴を認識し、その対象に合った動作生成をしてタスクを遂行することが求められる。本研究ではヒューマノイドロボットが操作対象物体の特徴を知覚し、その特徴に基づいて道具を選択し、使いこなすための、マルチモーダル深層学習モデルの構築をした。例として料理を取り上げ、ロボットに食材をよそう動作を実現させた。まず鍋の中に入っている食材をへらでかき混ぜ、その間の視覚・触覚・力覚の時系列情報を基に外的・内的特徴を知覚させる。続いて食材が液体なのか、固体なのかに合わせておたまかフライ返しを選択する。最後に、その食材の重さや摩擦力や粘度に合わせて速度や傾きを調整し、道具でボウルまでよそう動作を達成させる。評価実験では、学習に用いていない食材の取り扱いを実現した。さらに、視覚・触覚・力覚が操作対象物体の特徴認識と道具使用動作の生成にどのように貢献しているかも調査した。
研究成果は、ロボット研究のトップ学会の一つである国際会議ICRA2021にて発表し、Best Paper Award in Cognitive Roboticsを受賞し、国際的に高い評価を得た。本研究は、事前の数値設計が不要で未知の対象物体の扱いを可能とするため、将来的に一台で多様な対象を扱う多様な仕事をする日常支援ロボットの実現に貢献できる。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ほぼ計画通りに進められ、研究成果は国際会議にて発表し、一段落した。

Strategy for Future Research Activity

食材をおたまとフライ返しでよそうという研究では、特徴が変化していく操作対象を扱えないという課題が残っている。これは、物体の特徴認識が素早く効率的に行えないため、リアルタイムで動作を調整するのが難しいからである。次の研究として、アテンション機構を深層学習に組み込み、視覚・触覚・力覚のうちその時々で重要なセンサ情報に着目できるようなモデルに改善することで、これを実現していく。具体例として、加熱により硬化していく卵をかき混ぜスクランブルエッグを調理する実験を行う。卵が焦げたり、大きな塊にならないように、火が通っていない所を見分けて塊を砕いていく必要がある。

  • Research Products

    (2 results)

All 2021 2020

All Journal Article (1 results) Presentation (1 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] How to Select and Use Tools? : Active Perception of Target Objects Using Multimodal Deep Learning2021

    • Author(s)
      Saito Namiko、Ogata Tetsuya、Funabashi Satoshi、Mori Hiroki、Sugano Shigeki
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 6 Pages: 2517~2524

    • DOI

      10.1109/LRA.2021.3062004

  • [Presentation] Wiping 3D-objects using Deep Learning Model based on Image/Force/Joint Information2020

    • Author(s)
      Saito Namiko、Wang Danyang、Ogata Tetsuya、Mori Hiroki、Sugano Shigeki
    • Organizer
      IEEE International Conference on Intelligent Robots and Systems (IROS 2020)
    • Int'l Joint Research

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi