• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

ロボットによる操作対象物体の外見的・内面的特徴に合わせた道具使用学習モデルの構築

Research Project

Project/Area Number 20J21255
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61050:Intelligent robotics-related
Research InstitutionWaseda University

Principal Investigator

斎藤 菜美子  早稲田大学, 理工学術院, 特別研究員(PD)

Project Period (FY) 2020-04-24 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥3,300,000 (Direct Cost: ¥3,300,000)
Fiscal Year 2022: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2021: ¥1,100,000 (Direct Cost: ¥1,100,000)
Fiscal Year 2020: ¥1,200,000 (Direct Cost: ¥1,200,000)
Keywordsマニピュレーション / 深層学習 / マルチモーダル学習 / 道具使用 / ヒューマノイドロボット / 認識
Outline of Research at the Start

ロボットに身の回りの道具を使わせ,人の生活環境における仕事の支援を可能とする制御システムを提案する.本研究では,道具使用の例として特に料理タスクを取り上げる.用いるべき調理道具とその使いこなし方は,仕事の目的と,操作対象である食材の形や大きさ等の外見的特徴および粘度や重さ等の内面的特徴に応じて異なる.特に食材の外見的・内面的特徴は,ロボットの行動や時間経過によって常に変化してゆく.物体の特徴の視覚・触覚変化を常に知覚して,行動をリアルタイムで再計画し,道具を選択して使いこなすことを実現する深層学習モデルを構築する

Outline of Annual Research Achievements

ロボットの視覚・触覚・力覚を効果的に用い、対象物体の形状に合わせた動作を生成するための深層予測学習モデルを提案した。提案するモデルは、視覚情報から物体形状の特徴量を予測するモジュールと、力覚と触覚を用いて動作を生成するための再帰型深層予測学習モジュールから構成される。まず初めに視覚により大まかな物体形状を捉えて特徴量を算出し、その特徴量を再帰型学習モジュールの潜在空間に入力した後、力覚と触覚を使って詳細に凹凸を知覚しながら動作生成をさせる。評価実験では物体の表面を拭き取る掃除タスクをロボットに行わせ、視認できない、物体の裏面やロボット本体により隠れた場所でも拭き動作を達成できることを示した。この成果は国際会議IEEE ICRA 2022にて研究発表を行い、Travel Awardを受賞し、高く評価された。
続いて英国エジンバラ大学に4月から9月の間滞在して共同研究をし、長期マニピュレーションタスク実現のための深層学習モデルを提案した。長期のタスクを、短期の目標であるサブゴールに切り分けて、現在の状態と最終目標の差分を元に次のサブゴールを順に予測し、そのサブゴールを一つ一つ達成するための動作計画をさせる。ロボットにピザを組み立て、ナイフかピザカッターを選択させて切る作業を実現させ、未学習の物体と道具の配置でも正しく作業を行えることを示した。ロボットのセットアップ・実験・論文執筆はエジンバラ大学の研究者と共に行い、技術交流・意見交換をした。論文はIEEE ICRA2023にてacceptされており、2023年5月の会議にて発表予定である。

Research Progress Status

令和4年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和4年度が最終年度であるため、記入しない。

Report

(3 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (7 results)

All 2022 2021 2020 Other

All Int'l Joint Research (1 results) Journal Article (4 results) (of which Peer Reviewed: 2 results) Presentation (2 results) (of which Int'l Joint Research: 2 results)

  • [Int'l Joint Research] the University of Edinburgh/Alan Turing Institute(英国)

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Utilization of Image/Force/Tactile Sensor Data for Object-Shape-Oriented Manipulation: Wiping Objects With Turning Back Motions and Occlusion2022

    • Author(s)
      Saito Namiko、Shimizu Takumi、Ogata Tetsuya、Sugano Shigeki
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 7 Issue: 2 Pages: 968-975

    • DOI

      10.1109/lra.2021.3136657

    • Related Report
      2022 Annual Research Report
  • [Journal Article] How to Select and Use Tools? : Active Perception of Target Objects Using Multimodal Deep Learning2021

    • Author(s)
      Namiko Saito, Tetsuya Ogata, Satoshi Funabashi, Hiroki Mori, Shigeki Sugano
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 6 Issue: 2 Pages: 2517-2524

    • DOI

      10.1109/lra.2021.3062004

    • Related Report
      2021 Annual Research Report 2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Bayesian Estimation of Model Parameters of Equivalent Circuit Model for Detecting Degradation Parts of Lithium-Ion Battery2021

    • Author(s)
      Miyake Tamon、Suzuki Tomoyuki、Funabashi Satoshi、Saito Namiko、Kamezaki Mitsuhiro、Shoda Takahiro、Saigo Tsutomu、Sugano Shigeki
    • Journal Title

      IEEE Access

      Volume: 9 Pages: 159699-159713

    • DOI

      10.1109/access.2021.3131190

    • Related Report
      2021 Annual Research Report
  • [Journal Article] Tool-Use Model to Reproduce the Goal Situations Considering Relationship Among Tools, Objects, Actions and Effects Using Multimodal Deep Neural Networks2021

    • Author(s)
      Saito Namiko, Ogata Tetsuya, Mori Hiroki, Murata Shingo, Sugano Shigeki
    • Journal Title

      Frontiers in Robotics and AI

      Volume: 8

    • DOI

      10.3389/frobt.2021.748716

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Presentation] Utilization of Image/Force/Tactile Sensor Data for Object-Shape-Oriented Manipulation: Wiping Objects With Turning Back Motions and Occlusion2022

    • Author(s)
      Saito Namiko
    • Organizer
      IEEE International Conference on Robotics and Automation (ICRA 2023)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Wiping 3D-objects using Deep Learning Model based on Image/Force/Joint Information2020

    • Author(s)
      Saito Namiko、Wang Danyang、Ogata Tetsuya、Mori Hiroki、Sugano Shigeki
    • Organizer
      IEEE International Conference on Intelligent Robots and Systems (IROS 2020)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2020-07-07   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi