2020 Fiscal Year Annual Research Report
Learning and realtime conversion of motion styles for non-verbal communication via avatar
| Project/Area Number |
19H04231
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 身振り動作生成 / スタイル変換 / ジェスチャ表現 / アバター / ニューラルネットワーク / モーションキャプチャデータ / デジタルヒューマン / ＣＧアニメーション |
|---|
| Outline of Annual Research Achievements |
ニューラルネットワークを用いて身振り動作（ジェスチャ）の動きのスタイルを転移させる手法を開発した。昨年度には、画像の描画スタイルを転移させる既存手法の中で、再学習を必要としないモデルの動作データに対する有効性を調査した。その結果、動きの滑らかさや姿勢の尤もらしさ等の観点からは、信号の白色化を介した時系列の分割区間であるパッチでの潜在変数の入れ替えに基づく手法が最も適していることを突きとめ、その成果を国内の学術研究会で口頭発表した。
本年度は、昨年度の研究成果を発展させ、参照するスタイル付きの動作データが少量の場合でも変換が可能となる様に、身振り動作の潜在変数を人体の各部位に対して計算する機構を開発した。また、パッチ単位での潜在変数の入れ替えの計算に際して、注意機構と同様な重み和を導入することより滑らかで自然な動作が生成されることを実験的に示した。さらに、実時間でのスタイル変換を可能とするために、パッチの時系列での連続性を考慮した予測的な変換手法を提案し、その有効性を実験的に示した。
これらの研究成果は、国内におけるコンピュータ・グラフィックス分野で最も権威のある学術会議である Visual Computing 2020 で口頭発表し、その発表内容に対してはCGVI賞が授与された（82件の発表中、9件が受賞）。
同時に、昨年度に構築した身振り動作のスタイル学習に用いるデータセットの拡張にも取り組み、都内のモーションキャプチャ・スタジオを借用して、プロの演者を雇用してスタイルが付与された身振り動作を体系的に収集した。
ただし今回は、V-Tuber 等で用いられる女性アイドルを意識した身振り動作に特化して、英語でのナレーションや様々なキャラクターでの設定を用いて計測し、昨年度よりも多様なスタイルの身振り動作を収集した。このデータセットは、開発した手法のさらなる検証と今後の改良に役立てる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
歩行などの一般的な動作のスタイルをニューラルネットワークを用いて変換する機構の開発は既に完成しており、学習用データセットの整備も着実に進める事ができた。また、本研究課題実施期間の初年度からその研究成果を口頭発表することができた。
初年度の研究成果を発展させて身振り動作（ジェスチャ）のスタイル変換での有効性を確認し、注意機構を模倣した潜在変数の入れ替えによる生成動作の品質向上や、実時間処理に適した予測機構の導入などを達成した。これらの成果は権威のある国内学会で口頭発表し、その発表内容に対しては賞も授与されている。ただし、スタイルが極端に異なる身振り動作に対しては変換が不安定になる現象などが発見されており、その改良が今後の課題となっている。
最終的な完成には到っていないものの、当初に技術開発目標として掲げた課題や学習用データセットの整備は順調に進展している。しかしながら、国際的な学術会議での口頭発表や学術誌での論文掲載、および身振り動作データのアーカイブ・システムとしての完成と一般公開にまでは到っていないので、「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
今後は、以下の３種類の課題に取り組む。
課題１．誇張された人工的な身振り動作の変換：モーションキャプチャで計測された自然な動きに対するスタイル変換に対しては一定の品質を達成できたが、V-Tuber として演じられている様な誇張した動きや、手付で作成された人体の力学的到達範囲を逸脱した動きに対しては、潜在変数でのパッチ間のパターンを照合するのが困難となる事が発見されている。これに対して、特徴量のパターンの歪みや伸縮に対しても頑健な照合方法を考案する。
課題２．少量のデータに対するスタイル変換：これまでは、３から５個程度のファイル（各１分程度）のスタイル付き身振り動作を用いて実験してきたが、実用性を考慮すると１ファイル（１分程度）からそのスタイルを転移できることが望ましい。したがって、転移すべきスタイルの身振り動作には含まれていない姿勢の部分に対して、自動的に調整を施すことができるニューラルネットワークの構成法を考案する。
課題３．ジェスチャのスタイルとアバターの外観との適合性の調査：個性的な風貌や擬人化されたキャラクタ等の外観を有する形状モデルにスタイル変換された身振り動作を当てはめて可視化し、その印象の変化や適合性を認知心理実験により調査する。この実験で得られた知見に基づき、アバターの外見特徴に対するスタイルの自動選別や誇張の機構を検討する。
以上の課題に取り組んだ結果をまとめて、コンピュータ・グラフィックス関連の研究では著名で権威のある国際学術会議で口頭発表する。
|
