2022 Fiscal Year Annual Research Report
Learning and realtime conversion of motion styles for non-verbal communication via avatar
| Project/Area Number |
19H04231
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 身振り動作のスタイル変換 / ジェスチャ生成 / キャラクタアニメーション / デジタルヒューマン / 深層学習 |
|---|
| Outline of Annual Research Achievements |
CGで構成される仮想的な人物（アバター）の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き（スタイル）に変換する技術に取り組んでいる。
2020年度には通常の動きとスタイル付けされた動きの間でデータを一定時間毎に区切った動作部分をパターン照合して入れ替える技術を開発し、2021年度はその発展形として、スタイル付けされた動作部分の集合をできるだけ幅広く使用する様なパターン照合技術を導入した。これらの研究成果は、当該分野では国内で最大の規模と知名度を有する査読付き学術会議（Visual Computing）で採択され、口頭発表した。
2022年度は、画像処理の分野でも盛んに導入されている Transformer モデルに着目し、これを利用したパターン照合の手法を開発した。この Transformer に基づく手法においても一定時間毎に区切った動作部分を入れ替えるアプローチを導入するが、各動作部分を自然言語のトークンとみなし、その特徴の前後関係から文脈に相当する情報を抽出して、身振り動作の意味的な構造を捉えたパターン照合技術を開発した。さらに、スタイル変換の結果を定量的に評価する手法に関しては未だに良いモデルが提案されていないが、身振り動作に特化した、意味の伝達とスタイルの特徴を
分離して誤差を数値的に評価する手法を考案した。この手法により、これまでに開発した手法よりも精度の高い変換が可能であることを定量的に示した。
2022年度の研究成果は、当該分野における最も権威のある国際会議（ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation）に採択され、国際学術論文として掲載された。また、発表内容に関連するモーションキャプチャデータとプログラムのソースコードも GitHub を用いて一般公開した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度に発展させた手法を国内で最大規模の学術会議（Visual Computing）で口頭発表しております。この手法に関する研究を、2022年度には Transformer を用いて拡張し、良好な成果を得た。この研究は、国際的に著名な国際会議（ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation）に論文投稿して採択された。この手法は、より繊細で複雑なスタイル表現に対しても安定した転移を可能にするものであり、今後の研究においても重要な役割を果たすと考えられる。
また、国際会議の発表後に論文の作成に用いたデータセットとプログラムのコードを、GitHub システムを用いて Web 上で一般公開した。特にこのデータセットは、世界的に見ても未だ多くは公開されていない、個性的な誇張された身振り動作を系統的に計測し整備したものであり、これにより、世界中の研究者がこのデータを自由に利用して、より多くの研究が進むことが期待される。
|
| Strategy for Future Research Activity |
身振りのデータセットを拡充し、提案手法のスケーラビリティに関する性能を調査する。特に、スタイルデータの拡張・拡大・増殖等が転移結果の品質に与える影響を調査し、転移に用いるスタイルデータの最適な構成方法を効率と効果の両面から検討する。
また、スタイル変換の性能を評価する指標を再検討し、提案手法と関連する手法の定量的な比較の精度を向上させる。
さらに、本研究課題に関連する研究活動の裾野を拡げるため、これまでに本研究予算で収集した全データセットを、発話の内容を含めて一般公開する。ただし、GitHubでの公開とは別に、全データを Web ブラウザ上でのアニメーションを介して可視化し、その利便性を高める。これにより、必要なデータ群を研究目的に限定してダウンロードできる独自のアーカイブシステムを提供する。
|
