対話型3次元キャラクタのための実時間表情合成モデルの研究
| Project/Area Number |
21K12193
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | スキニング / キャラクタアニメーション / コンピュータグラフィックス / アニメーション / リギング |
|---|
| Outline of Research at the Start |
本研究では、顔面上に生じるシワ変形の多様性も再現できるような、CGキャラクタのためのリアルタイム表情合成モデルを開発する。具体的には、顔の概形変形からシワの発生にいたる変形過程を模した多重解像度表現モデルの開発に取り組む。さらに、ユーザーの表情変化に応じてCGキャラクタの表情を自動制御することで、細やかなニュアンスまで伝えられるような実時間対話型システムへの発展を図る。
|
| Outline of Annual Research Achievements |
2022年度は、昨年度までに開発した顔形状モデルの多重解像度表現手法をもとに、顔形状レイヤ間の連動関係を記述するための数理モデルについて研究した。その過程で拡張リー代数とガウス過程モデルを応用した高精度な例示ベース補間法を開発した。この技術により、アニメーターが例示した複数の連動制御結果を近似する制御計算モデルを自動構築できるため、作業コストの低減と映像品質向上を両立できると考えている。その研究成果は国際オープンアクセスジャーナル論文として発表するとともに、3次元CG映像ソフトウェアのプラグインとして実装したオープンソースソフトウェアを公開した。つぎに、ユーザーの表情変化に応じた対話表情生成の研究基盤として、3次元顔形状および発話音声の計測ソフトウェアおよびワークフローを開発した。この計測システムにより発話時の3次元顔形状・発話音声・ビデオデータを同期計測し、発話内容を半自動的に分析できる実験環境を整えた。そしてこの計測環境を用いて、日本語発話時の顔形状変形データベースの構築を進めた。さらに本課題の応用研究として、発話音声データからの感情推定を用いたリップシンク技術の検討、顔アニメーションデータを他のキャラクタ顔形状に転写するための技術、および補助骨を用いた皮膚変形リグの転写する技術のそれぞれについて基礎検討を進めた。これらの基礎研究成果については国内シンポジウムにおいてポスター発表している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請当初目標として掲げていた要素技術についてはいずれも基礎開発が進んでいる。それらの統合に関する研究への着手は計画より遅れているが、研究過程で新たに着想したテーマの検討を進めるなど、計画全体としてみると順調に推移している。そうした研究遂行の過程で表面化した技術的課題も当初想定の範囲内であり、すでに対策を施しているか今後の研究遂行においても問題ないことを確認している。国内外の学会等での研究成果報告も継続的に行っており、国際オープンアクセスジャーナル採択という当初目標としていた成果も得ている。
|
| Strategy for Future Research Activity |
当年度に行った各種事前実験や連携先との議論を踏まえ、研究計画に大きな変更は必要ないことを確認している。したがって、当初計画に沿って利用ユーザーの表情変化に応じて多重解像度表現された顔アニメーションモデルを自動制御できる実時間対話システムの確立を目指す。
|
Report
(2 results)
Research Products
(9 results)
