|
対話型3次元キャラクターのための実時間表情合成モデルの開発にあたり、本課題期間にはアニメーターが例示した操作ハンドル-スキン変形の連動制御結果を近似する制御計算モデルを開発した。具体的には、まず2段階のスキニング計算にもとづくスキン変形の多重解像度モデルを開発し、高品質なスキン変形を標準的なグラフィクスハードウェア上で高速に計算することを可能にした。次に、多重解像度表現された顔形状レイヤ間の連動関係を記述するための数理モデルとして、リー代数とガウス過程モデルを応用した高精度な例示ベース姿勢パラメータ補間法を開発した。これらの技術により、アニメーターが例示したデータをもとにキャラクターリグを自動構築することを可能とし、作業コスト低減と映像品質向上を両立できると考えている。また、ユーザーの表情変化に応じた対話表情生成の研究基盤として、3次元顔形状および発話音声の計測ソフトウェアおよびワークフローを開発した。この計測システムにより発話時の3次元顔形状・発話音声・ビデオデータを同期計測した、日本語発話時の顔形状変形データベースを構築した。そして最終年度には、ニューラルネットワークを用いて顔アニメーションデータを他のキャラクター顔形状に転写する技術、および補助骨を用いて構築された皮膚変形リグを他キャラクタモデルに転写する技術を開発した。これらの技術により、単一のアニメーションデータを複数のキャラクターに転写することを可能とし、コンテンツ制作効率の向上を図った。このように研究期間内に開発したい技術は、いずれも国内外の学会および学術雑誌にて発表するとともに、3次元CG映像ソフトウェアのプラグインとして実装したオープンソースソフトウェアを公開した。
|
