2019 Fiscal Year Annual Research Report
Learning and realtime conversion of motion styles for non-verbal communication via avatar
| Project/Area Number |
19H04231
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
遠藤 結城 筑波大学, 工学(系)研究科(研究院), 助教 (00790396)
向井 智彦 首都大学東京, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | ジェスチャスタイル変換 / モーションキャプチャデータ / ＣＧアニメーション / アバター / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
ニューラルネットワークで動作のスタイルを転移させる手法を開発した。特に、自然画像に絵画風の描画スタイルを転移させる既存手法で、ネットワークの再学習を必要としない３種の手法を動作データに対して適用して有効性を調査した。その結果、動きの滑らかさや姿勢の尤もらしさ等の観点からは、信号の白色化を介した一定の時間区間の潜在変数の入れ替えに基づく手法が最も高性能であることを発見した。また、関節の３次元位置よりも回転角度を用いる方がスタイルが自然に転移でき、潜在変数を計算するオートエンコーダも通常の動きのみから学習できることを示した。さらに、潜在変数の入れ替えに用いられる類似度計算の際に元の動作から切り出される時間区間を柔軟に伸縮させて距離計算する事により、時間的なタイミングが異なるスタイル特徴間での転移が可能となる事を示した。これらの研究成果は、国内学会の研究会で発表した（ただし、コロナウィルス感染予防のため口頭発表は次回の研究会に繰り越しとなった）。
また、身振り動作のスタイル学習に用いるデータセットの構築にも取り組み、都内のモーションキャプチャ・スタジオを借用し、プロのパントマイム演者を雇用して、スタイルが付与された身振り動作（ジェスチャ）を体系的に収集した。今回はジェスチャを認知的に体系化するOCEANモデルを参考にして４種類のスタイルを設定し、それらに対して５種類の発話状況を設定して、テキスト文章から生成される合成発話音に合わせて演じたジェスチャを計測した。それ以外にも、上半身を中心とした身振り動作を網羅的に収集し、上記の研究成果がジャスチャ動作に関しても有効に働くかを確認した。
さらに、本課題の予備的研究として、階層的な拘束条件に基づく身体運動の最適化手法や、ニューラルネットワークに基づくモーション・リターゲット、および身体中心位置軌道の推定手法を国内外の学術会議で口頭発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
動作スタイルを変換する機構の主要となる部分を考案することができ、学習用データセットの整備も着実に進める事ができた。また、基本アイデアの実装も完成させており、本研究課題実施期間の初年度から研究成果を口頭発表することができた。
|
| Strategy for Future Research Activity |
今後は、以下の三種類の課題に取り組む。
課題１．統計量の正規化と区間分割に基づくジェスチャスタイルの変換機構の開発：画像の深層学習のスタイル変換で導入された、潜在変数の統計量の正規化とその値を空間的にブロック分割したパッチ毎の特徴のマッチング入れ替えとを組み合わせた手法をジェスチャ動作にも適用できるように、時分割された潜在変数パッチのマッチングを、動きの全体的な流れや遷移の滑らかさ等を考慮できる様に改良する。また、参照するスタイル付き動作データが少量の場合でも変換が可能となる様に、その潜在変数化とスタイル特徴の変換を人体の各部位に対して計算する機構に関しても検討する。本手法により、データが少量の場合でも安定な計算が可能な、再計算を必要としないゼロショット学習の枠組みで様々なスタイルのジェスチャを生成する機構を開発する。さらに、実時間での変換を考慮した計算アルゴリズムの効率化や最適化にも着手する。
課題２．スタイルが付与されたジャスチャ動作データのアーカイブ化：複数名の新たな演者を雇用して、本年度に収集したデータに対して、さらに幅広い個性とシナリオを想定して計測したデータを追加して、データセットを体系的にアーカイブ化する。
課題３．ジェスチャのスタイルとアバターの外観との適合性の調査：個性的な風貌や擬人化されたキャラクタ等の外観を有する形状モデルにスタイル変換されたジェスチャを当てはめて可視化し、その印象の変化や適合性を認知心理実験により調査する。この実験で得られた知見に基づき、アバターの外見特徴に対するスタイルの自動選別や誇張の機構を検討する。
以上の実験で得られた結果をまとめて、CG関連の研究では国内で最大規模のシンポジウムで学会発表する。さらに、国際的な学術会議で口頭発表するための投稿準備をする。
|
