| 研究実績の概要 |
CGで構成される仮想的な人物（アバター）の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き（スタイル）に変換する技術に取り組んでいる。
2023年度は、身振りの動作データを一定時間毎に区切ったパッチ間を、凡庸と誇張されたスタイルの身振り間でパターン照合する技術に対し、逐次的なダウンサンプリングに基づく多重解像度でのパターン照合を導入する手法を開発した。この手法により、前年度までに開発した手法で必要とされていた動作特徴の潜在変数空間への埋め込みや動作の文脈を抽出する Transformer を訓練するためのデータ学習が不要となり、少量のデータに対してもスタイル変換が可能となった。これは、同年に開催されたSIGGRAPHで発表された論文（Li, Weiyu, et al., Example-Based Motion Synthesis via Generative Motion Matching）をスタイルの変換機構として拡張したものである。これにより、素材となるスタイルデータの類似したパッチ同士を平均化して動作が生成されるので、その自然さや個性的特徴が自動的に確保される利点がある。
この手法に対して、さらに身振りに伴って発話された音声データを動作と同じ時間間隔で区切った音声パッチのパターン照合を導入し、動作および音声のパッチ間の類似度を共に考慮することによって、発話信号のみからスタイル動作を生成する機構を開発した。これにより、通常の身振り動作のデータが得られない状況においても、素材の動作スタイルで発話内容に即した身振り動作を生成できる。
この研究成果は、情報処理学会のCGVI研究会で口頭発表し、その内容に対して優秀研究発表賞が授与された。また、今後はその成果をさらに発展させ、国内および国外の学術会議等で発表する計画である。
|
