Research on real-time facial expression synthesis model for interactive 3D characters

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K12193
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62040:Entertainment and game informatics-related
• Research Institution: Tokyo Metropolitan University
• Principal Investigator: Mukai Tomohiko 東京都立大学, システムデザイン研究科, 准教授 (10432296)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: コンピュータグラフィックス / キャラクタアニメーション / リギング

Outline of Final Research Achievements

We developed example-based techniques to automatically construct a multi-resolution model of skin deformation and an interlocking relationship model between facial shape layers and control handles. These techniques enable animators to automatically construct character rigs by specifying the example skin deformations. We also developed software for measuring 3D facial shapes and speech sounds, and constructed a database of Japanese speech motions. Furthermore, we developed a facial animation retargeting technique using neural networks and an automated technique for transferring character rig with auxiliary joints to other character models.

Free Research Field

コンピュータグラフィックス

Academic Significance and Societal Importance of the Research Achievements

開発した一連の技術群は、実時間アプリケーションにおけるデジタルキャラクタの皮膚変形アニメーションの高精度化を実現するための基盤技術である。これは、実時間CGアプリケーションにおけるキャラクタの存在感・実在感の向上につながるものであり、ひいてはVRやAR、ゲームやコンテンツ品質向上など、人型モデルやクリーチャーなどが登場するデジタルコンテンツを扱う様々な分野に寄与するものと考えている。