• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

"Nifty Arm" A robot arm that will act on your behalf without teaching, that will help you without saying

Research Project

Project/Area Number 22K04034
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 20020:Robotics and intelligent system-related
Research InstitutionWaseda University

Principal Investigator

松丸 隆文  早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (10313933)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Keywords人ロボット協調作業 / 3次元物体 / 形状変形 / RGB-Dセンサ / 形状モデリング / 6自由度マニピュレータ / 模倣学習 / 操作動作 / 半3次元物体 / 塑性変形 / 教示レス / 操作軌道 / ヒューマン・ロボット・インタラクション / 協調作業 / 協働作業 / 再現機能 / 支援機能
Outline of Research at the Start

人の手とロボットアームの協調作業および協働作業のために,2つの課題に取り組む.
(A)協調作業における再現機能: 物体の形状を変形加工する作業において,その場で具体的に教示をしなくとも,変形の前後を観察させるだけで,同じ作業をロボットに代行・再現させる.学術上の問題は,1)変形後の状態の認識と変形過程の推定(認識問題)と,2)ロボットによる作業工程の生成と再現(計画問題),である.
(B)協働作業における支援機能: 人が両手でおこなう作業において,片方の手の役割をロボットアームに置き換え,その場で具体的に指示をしなくとも,人の手の動きに対応する支援の動作をロボットアームにさせる.

Outline of Annual Research Achievements

人の手とロボットアームの協調作業におけるロボットによる再現機能として,物体の形状を変形加工する作業において,その場で具体的に教示をしなくとも,変形前と変形後(手本)を観察させるだけで,ロボットが動作して物体を同じ形状に変形できる機能を研究している.
2022(R4)~2023(R5)年度は,半3次元可塑性物体の変形として,柔軟な地面に溝(うねりと深さや幅が変化する溝)を人が作る作業をロボットアームに代行させる手法を確立した.このために新たに次の3つの手法を提案した.(1)3次元表面点群の標識付け手法:物体の表面形状をモデル化するためには,円滑化パラメータや凹凸角パラメータを適切に設定することが必要になる.ここで確立された,点群データのセマンティックセグメンテーションなどの要素技術は,正確な設計図面がない現実世界におけるさまざまな3次元物体のモデリングに利用できる.(2)RANSAC (Random Sample Consensus)戦略に基づく変形の表現手法:物体表面をある領域単位でモデリングしているので,従来の形状プリミティブに基づく適合手法に比べて,より一般的な形状をもつ物体のモデリングが可能になる.(3)タスクベースの適応型周期動的モーション・プリミティブDMPに基づく操作軌道の生成手法:例えば研磨タスクのような,他の準周期的運動タスクにも適用できる.
2023(R5)年度は,より一般的な3次元形状におけるさまざまな変形に対応することを検討した.(1)変形前後の表面形状の対応と識別:ふたつの点群データを位置合わせして,重なり合う部分と,変形前の形状から取り除く部分を識別すること.(2)ロボット手指動作の生成:ロボットの手指による物体変形のための操作動作を生成するために,人の作業動作データから模倣学習する手法を検討し,離散性と多峰性を同時に満足させるために,拡散方策を導入してみることにした.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究課題の以前に,平面の折り畳み(折り紙),平坦で柔軟な物体(ハンドタオル)の変形(摘まみ上げ)を,変形の前後を観察させるだけでロボットに代行・再現させる手法を確立した.本研究課題ではそれらを発展させる.
2022(R4)~2023(R5)年度は,半3次元可塑性物体の変形(柔軟な地面に溝を作る作業)を対象として研究を進めた.そこでは,(1)3次元表面点群の標識付け,(2)RANSAC (Random Sample Consensus)戦略に基づく変形表現,(3)タスクベースの適応型周期動的モーション・プリミティブDMPに基づく操作軌道生成法,の3つの技術を提案した.変形の前後の物体の形状はRGB-Dセンサ(Microsoft製Azure Kinect)で計測され,2次元カラー画像と3次元深度画像とがシステムへの入力になる.手本とする変形(作成された溝)に対して,6自由度ロボットアーム(Niryo製Niryo One)による再現形状と,人の手による再現形状とを比較する,検証実験を実施した.その結果より,提案した手法に基づくロボットによる作業形状が,人の手による作業形状に非常に近く,時にはより良い再現性能を発揮できることを確認した.これらの提案と結果を,学術専門誌にフルペーパーとして投稿し,現時点では,査読者からの意見・提言に基づいた加筆・修正の作業をおこなっている.
2023(R5)年度には,より一般的な3次元形状におけるさまざまな変形に対応するために,(1)変形前後の表面形状の対応と識別,(2)ロボット手指動作の生成,の検討を始めた.

Strategy for Future Research Activity

引き続き,研究を進捗させてゆく.今後の研究は,一般的な3次元物体のさまざまな変形に,対象とする物体変形作業を拡張することである.
そこで2023(R5)年度からは,(1)変形前後の表面形状の対応と識別,(2)ロボット手指動作の生成,の検討を始めた.特に,模倣学習における離散性Discontinuitiesと多峰性Multi-Modalitiesを同時に満足させるために,拡散方策Diffusion Policyの導入は,よい結果が期待できる.

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (14 results)

All 2023 2022 Other

All Int'l Joint Research (3 results) Journal Article (4 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 4 results,  Open Access: 4 results) Presentation (2 results) (of which Int'l Joint Research: 2 results) Remarks (5 results)

  • [Int'l Joint Research] ワルシャワ工科大学(ポーランド)

    • Related Report
      2023 Research-status Report
  • [Int'l Joint Research] インド工科大学ジョドプール(インド)

    • Related Report
      2023 Research-status Report
  • [Int'l Joint Research] ワルシャワ工科大学(ポーランド)

    • Related Report
      2022 Research-status Report
  • [Journal Article] An End-to-End Air Writing Recognition Method Based on Transformer2023

    • Author(s)
      Tan Xuhang、Tong Jicheng、Matsumaru Takafumi、Dutta Vibekananda、He Xin
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 109885-109898

    • DOI

      10.1109/access.2023.3321807

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A Transformer-Based Model for Super-Resolution of Anime Image2022

    • Author(s)
      Xu Shizhuo, Dutta Vibekananda, He Xin, Matsumaru Takafumi
    • Journal Title

      Sensors (MDPI)

      Volume: 22(21) Issue: 21 Pages: 8126-8126

    • DOI

      10.3390/s22218126

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Deep Learning Based One-Class Detection System for Fake Faces Generated by GAN Network2022

    • Author(s)
      Li Shengyin, Dutta Vibekananda, He Xin, Matsumaru Takafumi
    • Journal Title

      Sensors (MDPI)

      Volume: 22(20) Issue: 20 Pages: 7767-7767

    • DOI

      10.3390/s22207767

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Methods of Generating Emotional Movements and Methods of Transmitting Behavioral Intentions: A Perspective on Human-Coexistence Robots2022

    • Author(s)
      Matsumaru Takafumi
    • Journal Title

      Sensors (MDPI)

      Volume: 22(12) Issue: 12 Pages: 4587-4587

    • DOI

      10.3390/s22124587

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] A Probabilistic Approach Based on Combination of Distance Metrics and Distribution Functions for Human Postures Classification2023

    • Author(s)
      Xin He, Vibekananda Dutta, Teresa Zielinska, Takafumi Matsumaru
    • Organizer
      The 32nd IEEE International Conference on Robot and Human Interactive Communication (IEEE RO-MAN 2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Reproduction of Flat and Flexible Object Deformation using RGB-D Sensor and Robotic Manipulator2022

    • Author(s)
      Xin He, Vibekananda Dutta, Takafumi Matsumaru
    • Organizer
      2022 IEEE International Conference on Robotics and Biomimetics (IEEE ROBIO 2022), pp.1257-1262. DOI: 10.1109/ROBIO55434.2022.10011851
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Remarks] 早稲田大学大学院情報生産システム研究科 バイオロボティクス&ヒューマン・メカトロニクス研究室

    • URL

      https://sem-matsumaru.w.waseda.jp/

    • Related Report
      2023 Research-status Report
  • [Remarks] Takafumi MATSUMARU (Waseda Univ.)

    • URL

      https://matsumaru.w.waseda.jp/

    • Related Report
      2023 Research-status Report
  • [Remarks] brhmlab waseda - YouTube

    • URL

      https://www.youtube.com/@brhmlabwaseda919/videos

    • Related Report
      2023 Research-status Report 2022 Research-status Report
  • [Remarks] 早稲田大学大学院情報生産システム研究科 バイオロボティクス&ヒューマン・メカトロニクス研究室

    • URL

      http://www.waseda.jp/sem-matsumaru/

    • Related Report
      2022 Research-status Report
  • [Remarks] Takafumi MATSUMARU (Waseda Univ.)

    • URL

      http://www.f.waseda.jp/matsumaru/

    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi