• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Comprehensive data-driven learning, prediction and generation of whole-body contact motions based on cyber-physical human model

Research Project

Project/Area Number 22H05002
Research Category

Grant-in-Aid for Scientific Research (S)

Allocation TypeSingle-year Grants
Review Section Broad Section J
Research InstitutionTokyo University of Science

Principal Investigator

吉田 英一  東京理科大学, 先進工学部機能デザイン工学科, 教授 (30358329)

Co-Investigator(Kenkyū-buntansha) 森澤 光晴  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 副連携研究ラボ長 (00392671)
佐々木 智也  東京理科大学, 先進工学部機能デザイン工学科, 助教 (20979596)
佐川 立昌  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 招聘研究員 (30362627)
Venture Gentiane  東京大学, 大学院工学系研究科(工学部), 教授 (30538278)
鮎澤 光  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (60649086)
金広 文男  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 連携研究ラボ長 (70356806)
室岡 雅樹  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70825017)
神永 拓  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (90571571)
小林 泰介  国立情報学研究所, 情報学プリンシプル研究系, 助教 (10796452)
金澤 周介  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (60783925)
Project Period (FY) 2022-04-27 – 2027-03-31
Project Status Granted (Fiscal Year 2025)
Budget Amount *help
¥189,410,000 (Direct Cost: ¥145,700,000、Indirect Cost: ¥43,710,000)
Fiscal Year 2025: ¥25,480,000 (Direct Cost: ¥19,600,000、Indirect Cost: ¥5,880,000)
Fiscal Year 2024: ¥37,700,000 (Direct Cost: ¥29,000,000、Indirect Cost: ¥8,700,000)
Fiscal Year 2023: ¥37,700,000 (Direct Cost: ¥29,000,000、Indirect Cost: ¥8,700,000)
Fiscal Year 2022: ¥63,050,000 (Direct Cost: ¥48,500,000、Indirect Cost: ¥14,550,000)
Keywords運動最適化・生成 / サイバーフィジカルヒューマン / 人型ロボット / 機械学習
Outline of Research at the Start

複数の接触を伴う複雑な運動をロボットやデジタルヒューマンに実現させることは、無数の可能性から解を導く必要があり非常に困難である。本課題では、「サイバーフィジカルヒューマン」というロボットとデジタルヒューマンを統合した人型システムの運動データ整備の枠組みを構築するとともに、ロボット工学と機械学習の理論体系を融合し、データ駆動によりさまざまな環境で最適な接触運動を予測・生成する方法論を明らかにする。

Outline of Annual Research Achievements

① インタラクティブサイバーフィジカルヒューマン(iCPH) として、広域接触を持つ等身大人間型ロボットと接触データ収集の枠組みの整備を進めた。具体的には、分布接触センサに基づく全身運動生成の基本的な運動制御ソフトウェアを開発し、慣性式モーションキャプチャによる人型システムの全身運動と接触データの同期計測機能の検証と、人体モデルを用いた統合的な接触運動記述のためのデータ融合を行った。これは、後述するロボット最適運動の潜在空間表現、人間の運動データから接触力・接触状態を再構築する接触シンボル表現と併せて、接触運動の一般表現に関する中間成果と位置付けられる。
② 運動逆最適化による接触運動ネットワーク継続学習とデータベース構築に関しては、人型システムの最適制御を効率的に行う理論基盤として、関数主成分分析 (FPCA) に基づく少数の潜在変数を用いたロボット制御最適化や、多自由度の筋骨格モデルによる逆運動学計算を効率的に行う手法を構築した。広範な接触運動の表現・生成が期待される潜在変数を活用し、接触運動ネットワークの継続学習とデータベース構築に発展させる重要なステップとして、強化学習による全身運動獲得に取り組み、小型ロボットを用いて学習結果の有効性を実験的に検証した。
③ 逆予見制御・ベクトル量子化学習によるシンボル体系化と最適化予測に関しては、ベクトル量子化・変分オートエンコーダ (VQ-VAE)と自己注意機構 (self-attention)により、運動と接触状態を関係づける離散表現としてのシンボルを抽出する手法、運動データのみを入力として接触状態と接触力を推定する手法を構築し、その結果が運動時の関節トルク計算などの動力学解析にも利用できることを示した。逆予見制御による予測に向けた取り組みとして、人間の歩行の計測・予測に基づく人間追従型協調ロボットの最適軌道の生成手法を構築した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

① 新たな枠組としてのiCPHの整備については、高い感度を持つ全身触覚・力覚と駆動系を有し、柔軟な適応動作が可能な人間型ロボット機構として、川崎重工製Kaleido) をカスタマイズすることで目的通りの進捗が得られた。半導体不足に伴う、同ロボットの周辺機器を含む整備の一部遅れは、シミュレーションに基づく制御システムの開発・検証と小型ロボットによる実験的検証で補っている。人間に対する予備実験により、全身運動と接触力を融合したデータを取得する環境が整備された。接触運動の汎用表現に関しては、運動・接触データ融合、②の運動を記述する潜在変数、③の接触運動シンボルなど各テーマで重要な中間成果が得られており着実に進展している。
② 接触運動の逆最適化手法の導出では、少数の潜在変数による多自由度システムの効率的な最適化計算に関して成果が得られ、国際論文誌等に掲載された。加えて、接触運動ネットワーク継続学習とデータベース構築への発展を見据えて、強化学習による全身動作生成に取り組み、運動生成に関して有望な結果が得られた。
③の逆予見制御・ベクトル量子化学習によるシンボル体系化と最適化予測では、シンボルから接触状態と接触力の両方の推定が可能であることが示され、今後の他の接触動作への拡張とシンボル体系化に向けて計画通りに進展している。逆予見制御については、ロボット・人間にとって最適な運動を予測する手法を構築し、今後の接触運動への展開に向けた基礎的成果が得られた。
以上より、本課題はおおむね順調に進展していると判断した。

Strategy for Future Research Activity

今後は、人型システムの接触運動を解析し生成するため、融合的プラットフォームとして前年度までに整備したインタラクティブサイバーフィジカルヒューマン(iCPH) を最大限活用し、人間の接触運動の解析・学習とデータ駆動によるロボット運動生成との融合、さらに成果群の汎用表現への統合に取り組む。
① のiCPH整備に関してはまず、柔軟な分布型センサにより実現される「広域触覚」を有する人間型ロボットに対し、多点接触制御手法の有効性を実験的に検証する。人間の接触運動のデータ収集に関しては、前年度までに整備した接触センサとモーションキャプチャ等による運動と接触の同時計測システム・プロトコルに基づき、複数の異なる接触運動の計測データを取得する。
② 接触運動の逆最適化手法の導出については、人間の運動における接触制約の推定に取り組む。強化学習に基づき、環境制約を考慮しながら、複数の接触を経て目標の運動を実現するロボット運動生成手法を構築する。さらに、強化学習の結果を、潜在変数表現を介して順最適制御と接続し、接触運動ネットワーク継続学習につなげる。
③の逆予見制御・ベクトル量子化学習によるシンボル体系化については、歩行運動に対して良好な結果が得られたベクトル量子化による離散的なシンボル化手法を、測定した人間の接触運動やその他のデータに適用し、より広範な接触運動のネットワークを対象に拡張する。さらに、シンボルの運動生成に対する意味づけと逆予見制御を併用して、シンボルを起点とした多様な人型システムの全身接触動作の生成を目指す。
さらに、構築した接触運動の解析・生成システムの識別・予測機能の継続的な改善・接触運動データの拡充を行うとともに、内外の研究機関等の連携などを通じて、実問題に対して手法を展開・検証していく。

Assessment Rating
Interim Assessment Comments (Rating)

A-: In light of the aim of introducing the research area into the research categories, the expected progress in research has been made on the whole though a part of it has been delayed.

Report

(5 results)
  • 2024 Interim Assessment (Comments) ( PDF )
  • 2023 Annual Research Report
  • 2022 Abstract ( PDF )   Comments on the Screening Results   Annual Research Report
  • Research Products

    (16 results)

All 2024 2023 2022 Other

All Journal Article (6 results) (of which Peer Reviewed: 5 results,  Open Access: 2 results) Presentation (9 results) (of which Int'l Joint Research: 4 results,  Invited: 5 results) Remarks (1 results)

  • [Journal Article] Fast Direct Optimal Control for Humanoids Based on Dynamics Representation in FPC Latent Space2024

    • Author(s)
      Shimizu Soya、Ayusawa Ko、Venture Gentiane
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 9 Issue: 4 Pages: 3823-3830

    • DOI

      10.1109/lra.2024.3371291

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Fast Inverse Kinematics Based on Pseudo-Forward Dynamics Computation: Application to Musculoskeletal Inverse Kinematics2023

    • Author(s)
      Ayusawa Ko、Murai Akihiko、Sagawa Ryusuke、Yoshida Eiichi
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 8 Issue: 9 Pages: 5775-5782

    • DOI

      10.1109/lra.2023.3300207

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Self-supervised Extraction of Human Motion2023

    • Author(s)
      Tetsuya Abe, Ryusuke Sagawa, Ko Ayusawa, Wataru Takano
    • Journal Title

      arXiv

      Volume: -

    • Related Report
      2023 Annual Research Report
  • [Journal Article] Acceleration of Direct Optimal Control and Cost Weight Vector Estimation Using Machine Learning2023

    • Author(s)
      Nakatani Shoma、Venture Gentiane
    • Journal Title

      Proc. of the IFToMM World Congress

      Volume: - Pages: 828-837

    • DOI

      10.1007/978-3-031-45770-8_82

    • ISBN
      9783031457692, 9783031457708
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Identification of the Gear Transmission’s Efficiency by Neural Network2023

    • Author(s)
      Mori Kenya、Venture Gentiane
    • Journal Title

      Proc. of the IFToMM World Congress

      Volume: - Pages: 899-909

    • DOI

      10.1007/978-3-031-45770-8_89

    • ISBN
      9783031457692, 9783031457708
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Towards understanding and synthesis of contact-rich anthropomorphic motions through interactive cyber-physical human2022

    • Author(s)
      Yoshida Eiichi
    • Journal Title

      Frontiers in Robotics and AI

      Volume: 9

    • DOI

      10.3389/frobt.2022.1019523

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] アクティブラーニングを用いたロボットモデリング時の効率的かつ安全なデータセット獲得2024

    • Author(s)
      森 賢哉, Gentiane Venture
    • Organizer
      第29回ロボティクスシンポジア
    • Related Report
      2023 Annual Research Report
  • [Presentation] 人を知り、ロボットを賢く:人型システムの運動の理解・再現・生成2023

    • Author(s)
      吉田 英一
    • Organizer
      第7回 IEEE東京支部講演会
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] 歩行中の仮想運動中心の生成2023

    • Author(s)
      佐々木 智也, 鮎澤 光, 吉田 英一
    • Organizer
      第28回日本バーチャルリアリティ学会大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Understanding, reproducing and synthesizing natural human motions2023

    • Author(s)
      吉田英一
    • Organizer
      Robotics: Science and Systems 2023, Workshop on Toward Natural Motion Generation
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 強化学習によるヒューマノイドロボット全身移動運動の獲得2023

    • Author(s)
      福光 健介, Rohan Singh, 森澤 光晴, 吉田 英一
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 機械学習に基づく人型システムの接触状態の推定2023

    • Author(s)
      三宅 響, 佐川 立昌, 鮎澤 光, 室岡 雅樹, 吉田 英一
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Challenges in pHRI when a robot does you good2023

    • Author(s)
      Gentiane Venture
    • Organizer
      IEEE International Conference on Robotics and Automation (ICRA2023), Workshop on Communicating Robot Learning across Human-Robot Interaction
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Humanoid and Digital Actor as Cyber-Physical Twins for Understanding and Synthesizing Human Behaviors2022

    • Author(s)
      Eiichi Yoshida
    • Organizer
      2022 IEEE International Conference on Robotics and Automation (ICRA2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Cyber-physical human model for close-proximity human-robot collaboration2022

    • Author(s)
      Eiichi Yoshida
    • Organizer
      Workshop on Advances in Close Proximity Human-Robot Collaboration, 2022 IEEE-RAS International Conference on Humanoid Robots (Humanoids 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research / Invited
  • [Remarks] 多くの接触を含む複雑な行動の理解と生成に挑む ~ヒューマノイド・デジタルツインを組み合わせた…~

    • URL

      https://www.tus.ac.jp/today/archive/20230203_1189.html

    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-28   Modified: 2025-06-20  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi