2023 Fiscal Year Annual Research Report
Learning and realtime conversion of motion styles for non-verbal communication via avatar
| Project/Area Number |
19H04231
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 身振り動作のスタイル変換 / ジェスチャ生成 / 多重解像度パターン照合 / 生成的スタイル変換 / キャラクタ・アニメーション |
|---|
| Outline of Annual Research Achievements |
CGで構成される仮想的な人物（アバター）の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き（スタイル）に変換する技術に取り組んでいる。
2023年度は、身振りの動作データを一定時間毎に区切ったパッチ間を、凡庸と誇張されたスタイルの身振り間でパターン照合する技術に対し、逐次的なダウンサンプリングに基づく多重解像度でのパターン照合を導入する手法を開発した。この手法により、前年度までに開発した手法で必要とされていた動作特徴の潜在変数空間への埋め込みや動作の文脈を抽出する Transformer を訓練するためのデータ学習が不要となり、少量のデータに対してもスタイル変換が可能となった。これは、同年に開催されたSIGGRAPHで発表された論文（Li, Weiyu, et al., Example-Based Motion Synthesis via Generative Motion Matching）をスタイルの変換機構として拡張したものである。これにより、素材となるスタイルデータの類似したパッチ同士を平均化して動作が生成されるので、その自然さや個性的特徴が自動的に確保される利点がある。
この手法に対して、さらに身振りに伴って発話された音声データを動作と同じ時間間隔で区切った音声パッチのパターン照合を導入し、動作および音声のパッチ間の類似度を共に考慮することによって、発話信号のみからスタイル動作を生成する機構を開発した。これにより、通常の身振り動作のデータが得られない状況においても、素材の動作スタイルで発話内容に即した身振り動作を生成できる。
この研究成果は、情報処理学会のCGVI研究会で口頭発表し、その内容に対して優秀研究発表賞が授与された。また、今後はその成果をさらに発展させ、国内および国外の学術会議等で発表する計画である。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
