| Project/Area Number |
19H04231
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
Kuriyama Shigeru 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2023: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2022: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2021: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2020: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2019: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
|
|---|
| Keywords | モーションデータ / 身振り動作 / スタイル転移 / ビジョン・トランスフォーマ / ヒューマノイド・アニメーション / パターン照合 / 深層学習 / 動作パッチ / 身振り動作のスタイル変換 / ジェスチャ生成 / 多重解像度パターン照合 / 生成的スタイル変換 / キャラクタ・アニメーション / キャラクタアニメーション / 仮想分身（アバター） / デジタルヒューマン / ジェスチャスタイル変換 / モーションキャプチャデータ / ＣＧアニメーション / ニューラルネットワーク / トランスフォーマ / 身振り動作生成 / スタイル変換 / ジェスチャ表現 / アバター / 動作スタイル変換 / CGアニメーション |
|---|
| Outline of Research at the Start |
ＶＴｕｂｅｒ等で利用が拡大している３ＤＣＧアバターの非言語的なコミュニケーションの品質を向上させるためには、外見から受ける印象や感情に即した様態に動作を演出する必要がある。しかし、既存のアニメーション技術は歩行や格闘などの動力学的な最適化が可能な動きに適用範囲が限定されており、様態の微妙な違いをスタイルとして捉えて演出できる様な、実時間での生成・変換技術は未だ実現されていない。
本研究では、演技を計測したデータを用い、アバターの個性や表情を生み出す動作やジェスチャの特徴を学習して即時変換する手法を開発する。この技術により、仮想身体を用いた新たな社会交流や演芸等のエンタテインメント環境を創出する。
|
| Outline of Final Research Achievements |
We discovered that the most effective neural network-based motion style transfer method involves replacing patterns of similar motion patches separated by latent variables at regular time intervals after applying whitening. As an expansion, we developed a pattern-matching approach that can handle a large number of style gesture patches with time stretching and shrinking, resulting in improved performance in transferring style for dynamic movements of varying timings.
Moreover, we developed a style transfer method that captures the semantic structure of gestural behavior using a transformer model to extract contextual information for tokenized patches.
Additionally, we systematically created a publicly available dataset for learning gesture styles.
|
| Academic Significance and Societal Importance of the Research Achievements |
深層学習を用いた動作のスタイル変換は様々な手法が提案されているが、身振りを対象とした手法は発話内容から動作生成する手法の拡張機能として開発された生成的な手法のみであり、その表現力の欠如に問題があった。本研究では、素材となるスタイル動作を潜在変数空間で置換するアプローチにより、生成的手法では成し得なかった高性能なスタイル転移を可能とした点に学術的な意義がある。
本研究で開発した技術により身振りの表現力が高められ、新たなデータに対する再学習が不要で生成時の計算量も少ない利点は、仮想的な没入空間における分身（アバター）を用いたコミュニケーション環境の高度化に資するものであり、社会的な意義を有する。
|
