Acquisition, Description and Authentication of Personal Digital Twin

2022 Fiscal Year Final Research Report

• Project/Area Number: 20H00599
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: NAKAMURA Yoshihiko 東京大学, 大学院工学系研究科(工学部), 特任研究員 (20159073)
• Co-Investigator(Kenkyū-buntansha): 高野 渉 大阪大学, 数理・データ科学教育研究センター, 特任教授(常勤) (30512090) ; 鮎澤 光 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (60649086) ; 池上 洋介 東京大学, 大学院情報理工学系研究科, 助教 (90774414) ; 張 添威 東京大学, 大学院情報理工学系研究科, 特任助教 (10870181)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: Personal Digital Twin / Video Motion Capture / IMU Motion Capturing / Musculoskeletal Analysis / Risk Analysis of Sports / Cloud Computing / Motion Database / Visualization

Outline of Final Research Achievements

The technical foundation has been established so that anyone can make and use one’s personal digital twin at ease and low-cost. The computational elements were concatenated in a feedback structure to increase their reliability, which made a single computational flow. The system has been implemented in cloud computing that made a fully automatic sequence from motion capturing to motion analysis. The result of computation immediately enters the time-series database and is looked up by query language for visualization. The personal digital-twin technology objectively and scientifically describes the features of movement of individuals. It will make the foundation for individuals to grasp the learning-curve of sports and aging-curve of behavior, for society to understand the demographic view of movements.

Free Research Field

Robotics and Biomechanics

Academic Significance and Societal Importance of the Research Achievements

学術的には、映像によるニューラルネットワークによるポーズ推定から運動解析と結果の検索までをクラウドシステムで信頼性高く構成したことは世界に先駆けた成果である。フィールドの複数人の運動の三次元再構成、体形までも計測するボルメトリック・モーションキャプチャも重要な成果である。自治体の体育館への常設カメラの設置や、大学のラグビーグラウンドへの常設カメラの設置は、社会実装実験としての成果が期待される。モーションキャプチャがだれもが利用できるようになることの社会的インパクトは大きい。だれもが自分自身のパーソナル・デジタルツインを持つことができる運動解析の民主主義の時代の到来をもたらすものである。