Physically consistent human motion generation based on fusion theory of motion optimization and deep learning

2020 Fiscal Year Final Research Report

• Project/Area Number: 18H03315
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: Ayusawa Ko 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (60649086)
• Co-Investigator(Kenkyū-buntansha): 吉安 祐介 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (10712234)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 人運動解析 / ヒューマノイド / 運動最適化 / 深層学習

Outline of Final Research Achievements

In this study, we proposed a new methodology that can generate physically consistent human movements by combining motion optimization theory for physical consistency and deep learning based on a motion dataset. We have developed an efficient method for gradient computation in motion optimization which can handle various physical quantities, a method for constructing a deep neural network considering kinematics consistency of the human skeletal system, and a motion generation method that can evaluate mechanical properties such as velocities, accelerations, and external forces. As application examples, we have developed a real-time estimation of human musculoskeletal motion by using measurement devices such as 2D video images and inertia sensors, and a motion retargeting method from humans motion to humanoid robots.

Free Research Field

ロボティクス

Academic Significance and Societal Importance of the Research Achievements

運動最適化と機械学習を融合させることで、簡易的な計測から力学的整合性を持つ人の運動生成を実現させる方法論を開発した。最適化理論の観点からは学習により冗長性問題を解決し、機械学習的観点からは運動最適化により力学的整合性を実現させた。これにより、人の運動に纏わる力学的整合性・冗長性問題を同時に扱えるという学術的意義を示せた。また、ビデオ画像や慣性センサなどの計測デバイスによる人の実時間筋骨格運動解析技術は、スポーツ・リハビリなどの特定の場面だけでなく、人の運動モニタリングによる健康・労務管理などの日常生活や労働環境において活用できることが期待されるため、社会的・産業的な波及効果も期待できる。