• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Elucidation of lean movements of skilled person and transfer of movements to robots with different physicalities

Research Project

Project/Area Number 21K03984
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 20020:Robotics and intelligent system-related
Research InstitutionChukyo University

Principal Investigator

橋本 学  中京大学, 工学部, 教授 (70510832)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Keywords動作分析 / 判断根拠 / 身体性ギャップ / 共通動作モデル / 熟練度推定 / 機能認識 / 物体認識 / ロボット動作生成 / 熟練スキルの解明 / スキル獲得 / 協働ロボット / 深層学習 / ヒューマンセンシング / 熟練者 / 動き分析 / ロボット動作
Outline of Research at the Start

近年の労働力人口の減少や「3密」回避を目的としたヒト・ロボット協働型生産システムの実現を目指し,組立て作業における熟練者の暗黙知的なスキルを形式知化し,ロボットがヒトの熟練技を受け継いで永続的に再利用していくための仕組みを作り上げる.「熟練者だけが持つ無駄のない動きとは何か」を解明し,現実のロボット動作として再現する方法を確立する.ヒトの両手,体,視線,および対象物体の位置・姿勢をセンシングし,深層学習(LSTM)ベースの分析により,熟練者特有の動きパターンを抽出する.さらにこれを,ヒトとロボットの間に存在する構造・運動機構上の違いを考慮しつつ,中間動作表現を用いて解決する.

Outline of Annual Research Achievements

R5年度は,(1)動作識別法の改良および内部分析の手法,(2)ヒトとロボットの身体性ギャップを考慮したロボット動作生成手法,(3)料理タスクを想定した共通動作モデルに関する検討をおこなった.
(1)については,これまでに開発したSpatial Temporal Graph Convolutional Networks(ST-GCN)ベースのスキルレベル識別手法に加え,SubgraphXをベースとしたスキルレベル分析手法を開発した.ST-GCNは,組立作業時の骨格データを手や肘,肘や肩などの関節間のつながりを表現したグラフデータから特徴抽出することができるネットワークモデルである.また,SubgraphXはGNNのアテンション分析手法であり,学習済みのST-GCNからスキルレベルの判断根拠を時間的かつ空間的に抽出することができる.52シーケンスにダウンサンプリングした10秒程度のデータを用いた実験により,たとえば,仮締めの動作における右手首と右肘にアテンションが集中していること,また,仮締め動作における左手首と左肘にもわずかにアテンションが集中していることなどが明らかになり,本手法の有効性を実証できた.
(2)については,熟練者の無駄のない動きのロボット転移を実現するため,ある部品に対して事前に教示した組み立て作業時における人間にとって最適な把持点を手掛かりとして,別部品におけるロボットにとっての最適な把持点を決定する手法を提案した.実際にロボットを用い,対象物としてコネクティングロッドを用いた実験の結果,動作成功率は83.0%であることを確認した.
(3)については,同一目的で使用されるさまざまなサイズや形状の道具に対して,共通的に利用できるモデルを1つ用意し,センシングした機能情報を反映することによって軌跡を生成する手法である.これについても,実験により有用性を確認した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

R5年度は,熟練スキルの分析に関しては,グラフニューラルネットワークのアテンション分析手法を適用し,有効性を確認することができたことから,着実に遂行できていると判断している.
別部品におけるロボットにとっての最適な把持点を決定する手法についても,人間にとって最適な把持点を手掛かりとして,別部品におけるロボットにとっての最適な把持点を決定し,有効性を確認することができたことから,着実に遂行できていると判断している.
また,料理タスクにおいても,人の円滑な動きをロボットに反映させる手法を提案し,有効性を確認することができたため,着実に遂行できている.

Strategy for Future Research Activity

R6年度は,本年度に新たに適用した,SubgraphXによる分析結果の有用性の検証と,SubgraphXによる分析手法の拡張に取り組む.具体的には,入力データのシーケンス長の拡張を考えている.これにより,作業時間が長く複雑な作業データに対しても分析可能なシステムの作成に取り組む予定である.
また,別部品におけるロボットにとっての最適な把持点を決定する手法については,ハンド形状の違い以外の身体性ギャップを考慮し,人の動作を参考にしたロボット動作生成手法を提案する予定である.例えば,人とロボットでは,動作可能範囲が異なることや,関節の数が異なる.これらを考慮した動作生成手法を開発していく予定である.
また,料理タスクにおける人の円滑な動きをロボットに反映させる手法については,軌跡の他に速度や加速度などの情報をロボットに反映させる手法の開発を予定している.

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (14 results)

All 2024 2023 2022 2021

All Presentation (14 results) (of which Int'l Joint Research: 3 results)

  • [Presentation] Robot motion generation for precise scooping of powders material based on recognizing 3D functional attributes of spoons2024

    • Author(s)
      Kazuki Yamada, Yuta Ando, Takahiro Suzuki, Shuichi Akizuki, and Manabu Hashimoto
    • Organizer
      International Workshop on Advanced Image Technology 2024 (IWAIT2024)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 技能レベル識別のロバスト化のための速度入力型ST-GCNの提案2024

    • Author(s)
      棚橋悠翔,木村康佑,三好遼,秋月秀一,橋本学
    • Organizer
      2024年電子情報通信学会総合大会
    • Related Report
      2023 Research-status Report
  • [Presentation] SubgraphXを用いたST-GCNのアテンション分析による組み立て作業の熟練動作分析手法2024

    • Author(s)
      棚橋悠翔,木村康佑,秋月秀一,橋本 学
    • Organizer
      知識・技術・技能の伝承支援研究会(SIG-KST)
    • Related Report
      2023 Research-status Report
  • [Presentation] Reliable Matching by Combining Optimal Color and Intensity Information based on Relationships between Target and Surrounding Objects2023

    • Author(s)
      Rina Tagami, Hiroki Kobayashi, Shuichi Akizuki, Manabu Hashimoto
    • Organizer
      International Symposium on Visual Computing (ISVC2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 周辺物との相互関係に基づく最適な色と明るさ情報の組み合わせによる高信頼画像マッチング2023

    • Author(s)
      田上鈴奈,小林大起,秋月秀一,橋本学
    • Organizer
      画像の認識・理解シンポジウム(MIRU2023)
    • Related Report
      2023 Research-status Report
  • [Presentation] 共通動作軌跡モデルと道具の機能センシングに基づく操作実現のための汎用動作生成2023

    • Author(s)
      安藤優汰,山田一稀,鈴木貴大,秋月秀一,橋本学
    • Organizer
      28回知能メカトロニクスワークショップ(IMEC2023)
    • Related Report
      2023 Research-status Report
  • [Presentation] 道具の機能センシングを用いた定性的軌跡の定量化に基づくロボット動作生成2023

    • Author(s)
      安藤優汰,山田一稀,鈴木貴大,秋月秀一,橋本学
    • Organizer
      ビジョン技術の実利用ワークショップ(ViEW2023)
    • Related Report
      2023 Research-status Report
  • [Presentation] 機能センシングを用いた定性軌跡の定量化に基づくロボット動作生成手法の提案2023

    • Author(s)
      安藤優汰,山田一稀,鈴木貴大,秋月秀一,橋本学
    • Organizer
      第24回計測自動制御学会インテグレーション部門講演会(SI2023)
    • Related Report
      2023 Research-status Report
  • [Presentation] Fast and reliable template matching based on effective pixel selection using color and intensity information2023

    • Author(s)
      Rina Tagami, Hiroki Kobayashi, Shuichi Akizuki, Manabu Hashimoto
    • Organizer
      the 18th International Joint Conference on Computer Vision Theory and Applications
    • Related Report
      2022 Research-status Report
  • [Presentation] 画素ペア色相値の発生確率分析に基づく高速カラー画像マッチング2022

    • Author(s)
      田上鈴奈,江場さくら,中林尚也,秋月秀一,橋本学
    • Organizer
      第25回画像の認識・理解シンポジウム
    • Related Report
      2022 Research-status Report
  • [Presentation] カラーおよび濃淡物体の類似物に頑健な画素選択型マッチング手法2022

    • Author(s)
      田上鈴奈,小林大起,秋月秀一,橋本学
    • Organizer
      ビジョン技術の実利用ワークショップ
    • Related Report
      2022 Research-status Report
  • [Presentation] Analysis of Human's Skilled Process of Assembly Task using Time-sequence based Machine Learning2021

    • Author(s)
      Ryo Miyoshi, Kosuke Kimura, Shuichi Akizuki, Manabu Hashimoto
    • Organizer
      International Workshop on Advanced Imaging Technology
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Multi-Stream LSTM を用いた作業者の熟練度合い分析方法の提案2021

    • Author(s)
      木村康佑,川瀬 陽平,三好遼,秋月秀一,橋本学
    • Organizer
      第27回画像センシングシンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] 習熟支援のためのマルチストリームLSTMを用いた熟達プロセス分析手法の提案2021

    • Author(s)
      三好遼,木村康佑,秋月秀一,橋本学
    • Organizer
      第22回計測自動制御学会インテグレーション部門講演会
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi