| 研究課題/領域番号 |
21K12193
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62040:エンタテインメントおよびゲーム情報学関連
|
|---|
| 研究機関 | 東京都立大学 |
|---|
研究代表者 |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2022年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
|
|---|
| キーワード | スキニング / キャラクタアニメーション / コンピュータグラフィックス / アニメーション / リギング |
|---|
| 研究開始時の研究の概要 |
本研究では、顔面上に生じるシワ変形の多様性も再現できるような、CGキャラクタのためのリアルタイム表情合成モデルを開発する。具体的には、顔の概形変形からシワの発生にいたる変形過程を模した多重解像度表現モデルの開発に取り組む。さらに、ユーザーの表情変化に応じてCGキャラクタの表情を自動制御することで、細やかなニュアンスまで伝えられるような実時間対話型システムへの発展を図る。
|
| 研究実績の概要 |
2022年度は、昨年度までに開発した顔形状モデルの多重解像度表現手法をもとに、顔形状レイヤ間の連動関係を記述するための数理モデルについて研究した。その過程で拡張リー代数とガウス過程モデルを応用した高精度な例示ベース補間法を開発した。この技術により、アニメーターが例示した複数の連動制御結果を近似する制御計算モデルを自動構築できるため、作業コストの低減と映像品質向上を両立できると考えている。その研究成果は国際オープンアクセスジャーナル論文として発表するとともに、3次元CG映像ソフトウェアのプラグインとして実装したオープンソースソフトウェアを公開した。つぎに、ユーザーの表情変化に応じた対話表情生成の研究基盤として、3次元顔形状および発話音声の計測ソフトウェアおよびワークフローを開発した。この計測システムにより発話時の3次元顔形状・発話音声・ビデオデータを同期計測し、発話内容を半自動的に分析できる実験環境を整えた。そしてこの計測環境を用いて、日本語発話時の顔形状変形データベースの構築を進めた。さらに本課題の応用研究として、発話音声データからの感情推定を用いたリップシンク技術の検討、顔アニメーションデータを他のキャラクタ顔形状に転写するための技術、および補助骨を用いた皮膚変形リグの転写する技術のそれぞれについて基礎検討を進めた。これらの基礎研究成果については国内シンポジウムにおいてポスター発表している。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
申請当初目標として掲げていた要素技術についてはいずれも基礎開発が進んでいる。それらの統合に関する研究への着手は計画より遅れているが、研究過程で新たに着想したテーマの検討を進めるなど、計画全体としてみると順調に推移している。そうした研究遂行の過程で表面化した技術的課題も当初想定の範囲内であり、すでに対策を施しているか今後の研究遂行においても問題ないことを確認している。国内外の学会等での研究成果報告も継続的に行っており、国際オープンアクセスジャーナル採択という当初目標としていた成果も得ている。
|
| 今後の研究の推進方策 |
当年度に行った各種事前実験や連携先との議論を踏まえ、研究計画に大きな変更は必要ないことを確認している。したがって、当初計画に沿って利用ユーザーの表情変化に応じて多重解像度表現された顔アニメーションモデルを自動制御できる実時間対話システムの確立を目指す。
|
