2021 Fiscal Year Annual Research Report

Learning and realtime conversion of motion styles for non-verbal communication via avatar

Research Project

Project/Area Number	19H04231
Research Institution	Toyohashi University of Technology
Principal Investigator	栗山繁豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
Co-Investigator(Kenkyū-buntansha)	向井智彦東京都立大学, システムデザイン研究科, 准教授 (10432296)
Project Period (FY)	2019-04-01 – 2024-03-31
Keywords	身振り動作のスタイル変換 / ジェスチャ生成 / トランスフォーマ / キャラクタアニメーション / デジタルヒューマン
Outline of Annual Research Achievements	CGで構成される仮想的な人物（アバター）の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き（スタイル）に変換する技術に取り組んでいる。 2020年度には通常の動きとスタイル付けされた動きの間でデータを一定時間毎に区切った動作部分をパターン照合して入れ替える技術を開発した。2021年度はこの技術を発展させ、スタイル付けされた動作部分の集合をできるだけ幅広く使用する様なパターン照合技術を導入した。これにより、動的な変化の激しい誇張された動き等で問題となっていた、パターン照合の精度の悪化を解消できた。この研究成果は、当該分野では国内で最大の規模と知名度を有する査読付き学術会議（Visual Computing）で採択され、口頭発表した。その後、自然言語の分野で発展を遂げ、ここ数年では画像処理の分野でも盛んに導入されている Transformer モデルに着目し、これを利用したパターン照合の手法を開発した。この Transformer に基づく手法においても一定時間毎に区切った動作部分を入れ替えるアプローチを導入するが、各動作部分を自然言語のトークンとみなし、その特徴の前後関係から文脈に相当する情報を抽出して、身振り動作の意味的な構造を捉えたパターン照合技術を開発した。また、スタイル変換の結果を定量的に評価する手法に関しては未だに良いモデルが提案されていないが、身振り動作に特化した、意味の伝達とスタイルの特徴を分離して誤差を数値的に評価する手法を考案した。この手法により、これまでに開発した手法よりも精度の高い変換が可能であることを定量的にも示す事が可能となった。これらの研究成果を当該分野における海外の著名な国際会議に投稿する準備を進めており、採択されれば国際学術論文としても掲載される。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 2021年度に発展させた手法を国内で最大規模の学術会議（Visual Computing）で口頭発表しており、その後の拡張に関しても良好な成果が得られ、国際的に著名な国際会議（ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation）に論文投稿する。また、世界的には未だ存在しない、個性的な誇張された身振り動作を系統的に計測したデータセットの整備を既に完了しており、国際会議での発表後には、全てのデータセットと研究に用いたプログラムのコードを、研究目的での使用に限定してWeb 上で一般公開する準備を進めている。
Strategy for Future Research Activity	身振りのデータセットをさらに拡充させて、提案手法のスケーラビリティに関する性能調査を実施する。また、スタイル変換の性能を評価する指標を再検討し、ニューラルネットワークに基づく最先端の行動認識モデルの利活用を検討する。さらに余裕があれば、テキストや音声信号から身振り動作を自動生成する手法との統合方法に関しても検討する。また、本研究課題に関連する研究活動の裾野を拡げるために、これまでに本研究予算で収集した全てのデータセットを一般公開する。これには、全データをWebブラウザ上でのアニメーション生成を介して可視化し、必要なデータ群を研究目的に限定してダウンロードできるシステムを構築する。