2022 Fiscal Year Research-status Report
対話型3次元キャラクタのための実時間表情合成モデルの研究
| Project/Area Number |
21K12193
|
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | スキニング / キャラクタアニメーション / コンピュータグラフィックス |
|---|
| Outline of Annual Research Achievements |
2022年度は、昨年度までに開発した顔形状モデルの多重解像度表現手法をもとに、顔形状レイヤ間の連動関係を記述するための数理モデルについて研究した。その過程で拡張リー代数とガウス過程モデルを応用した高精度な例示ベース補間法を開発した。この技術により、アニメーターが例示した複数の連動制御結果を近似する制御計算モデルを自動構築できるため、作業コストの低減と映像品質向上を両立できると考えている。その研究成果は国際オープンアクセスジャーナル論文として発表するとともに、3次元CG映像ソフトウェアのプラグインとして実装したオープンソースソフトウェアを公開した。つぎに、ユーザーの表情変化に応じた対話表情生成の研究基盤として、3次元顔形状および発話音声の計測ソフトウェアおよびワークフローを開発した。この計測システムにより発話時の3次元顔形状・発話音声・ビデオデータを同期計測し、発話内容を半自動的に分析できる実験環境を整えた。そしてこの計測環境を用いて、日本語発話時の顔形状変形データベースの構築を進めた。さらに本課題の応用研究として、発話音声データからの感情推定を用いたリップシンク技術の検討、顔アニメーションデータを他のキャラクタ顔形状に転写するための技術、および補助骨を用いた皮膚変形リグの転写する技術のそれぞれについて基礎検討を進めた。これらの基礎研究成果については国内シンポジウムにおいてポスター発表している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請当初目標として掲げていた要素技術についてはいずれも基礎開発が進んでいる。それらの統合に関する研究への着手は計画より遅れているが、研究過程で新たに着想したテーマの検討を進めるなど、計画全体としてみると順調に推移している。そうした研究遂行の過程で表面化した技術的課題も当初想定の範囲内であり、すでに対策を施しているか今後の研究遂行においても問題ないことを確認している。国内外の学会等での研究成果報告も継続的に行っており、国際オープンアクセスジャーナル採択という当初目標としていた成果も得ている。
|
| Strategy for Future Research Activity |
当年度に行った各種事前実験や連携先との議論を踏まえ、研究計画に大きな変更は必要ないことを確認している。したがって、当初計画に沿って利用ユーザーの表情変化に応じて多重解像度表現された顔アニメーションモデルを自動制御できる実時間対話システムの確立を目指す。
|
| Causes of Carryover |
計画していた学会参加の取り止め等により生じた残額は、次年度の物品や消耗品購入等に充てる。
|
