Learning and realtime conversion of motion styles for non-verbal communication via avatar

2023 Fiscal Year Final Research Report

• Project/Area Number: 19H04231
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 62040:Entertainment and game informatics-related
• Research Institution: Toyohashi University of Technology
• Principal Investigator: Kuriyama Shigeru 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
• Co-Investigator(Kenkyū-buntansha): 向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296) ; 遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: モーションデータ / 身振り動作 / スタイル転移 / ビジョン・トランスフォーマ / ヒューマノイド・アニメーション / パターン照合 / 深層学習 / 動作パッチ

Outline of Final Research Achievements

We discovered that the most effective neural network-based motion style transfer method involves replacing patterns of similar motion patches separated by latent variables at regular time intervals after applying whitening. As an expansion, we developed a pattern-matching approach that can handle a large number of style gesture patches with time stretching and shrinking, resulting in improved performance in transferring style for dynamic movements of varying timings.
Moreover, we developed a style transfer method that captures the semantic structure of gestural behavior using a transformer model to extract contextual information for tokenized patches.
Additionally, we systematically created a publicly available dataset for learning gesture styles.

Free Research Field

深層学習に基づくヒューマノイド・アニメーション

Academic Significance and Societal Importance of the Research Achievements

深層学習を用いた動作のスタイル変換は様々な手法が提案されているが、身振りを対象とした手法は発話内容から動作生成する手法の拡張機能として開発された生成的な手法のみであり、その表現力の欠如に問題があった。本研究では、素材となるスタイル動作を潜在変数空間で置換するアプローチにより、生成的手法では成し得なかった高性能なスタイル転移を可能とした点に学術的な意義がある。
本研究で開発した技術により身振りの表現力が高められ、新たなデータに対する再学習が不要で生成時の計算量も少ない利点は、仮想的な没入空間における分身（アバター）を用いたコミュニケーション環境の高度化に資するものであり、社会的な意義を有する。