2015 Fiscal Year Annual Research Report
個人特徴を表現可能な動画像に基づくフォトリアルな顔の分析・合成の研究
| Project/Area Number |
26280062
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 3次元顔形状復元 / リップシンク合成 / 経年変化顔合成 / 半透明物体のモデリング / 曲率依存反射関数 / 皴画像合成 |
|---|
| Outline of Annual Research Achievements |
人間の顔は、個性、年齢、性別、感情、健康状態などの情報を表示可能なディスプレイであり、ＣＧにおける最も困難な研究ターゲットの一つである。本研究では、このような人間の顔の表現しうる様々な属性特徴に関して、特に個人の特徴を定量的かつ高精度に反映可能な表現手法の確立が目的である。このような観点から、平成27年度は、以下の４つの研究テーマの成果を上げることができた。１）1枚の顔画像から3次元形状復元、２）個性を保持したフォトリアルなリップシンク
３）個性を保持した経年変化顔画像合成
４）半透明物体の3次元形状復元。まず1枚の顔画像から復元する3次元形状復元は、シェープフロムシェーディングの考え方をベースにしながらランバート反射の仮定も必要とせず、大量のデータベースも必要としない全く新しい発想のパッチベースの3次元形状復元手法を提案した。その性能は既存の関連研究の最も新しいアルゴリズムを性能的に大きく凌いでいる。次にリップシンクは、ある人物の口の動きをそのままターゲット人物の口の動きにリターゲットする手法であり、実写と区別がつかないリアリティを実現しながら、発話内容に忠実な口形状アニメーションを実現した。これはフレームリシャッフリングという動画のフレームを入れ替えることで発話内容を再現する全く新しい発想に基づき、３Ｄモデルを必要とせず、任意の言語への動画翻訳ができる点が特徴である。経年変化顔画像合成では、目や鼻といった個性再現に必要な画像要素は保持しつつ、皮膚の質感をデータドリブンで経年変化させ、表情皴をきっかけとし経年変化に必要な皴の表現を忠実に実現した点が画期的である。半透明物体の3次元形状復元は、ランバート仮説が成り立たない石鹸や蝋の形状復元を目的とし、初年度に提案した曲率ベースの反射特性関数の実測に基づき、複数の光源環境を変化させた画像を入力し忠実な形状再現性能を実現した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
４つの研究成果に関して、それぞれ以下のような高い評価を得るに至っている。
１）1枚の顔画像からの3次元形状復元 パッチベースの顔形状復元は、10人程度のデータベース作成という極めて少人数のデータのみに基づいて、従来のどの研究よりも高い性能を実現できることが実証されている。1枚の顔画像しか用いていないにも関わらず再現精度が１ｍｍ程度以下で復元が可能であり、人物にも依存することなく、表情変化にも対応できるなど、汎用性が高い方式を確立できた。
２）個性を保持したフォトリアルなリップシンク 画像フレームの入れかえのみによるリップシンク動画生成を実現し、3次元モデルを一切必要とせず、ソースとなる口の動きさえ存在すれば、当人の個性を保持したまま、任意の言語を喋っている動画がフォトリアルなクオリティで生成が可能である点で画期的な技術である。すでに多くの学会賞を獲得するなどその成果と再現性能が高く評価されている。
３）個性を保持した経年変化顔画像合成 鼻や目のような個性を反映する器官の特徴はポアソンイメージエディティングの技術で維持しつつ、経年特徴を表現する皴の再現に着目し、表情皴が年齢を経るにしたがって顕著化するという特徴を再現可能な経年変化アルゴリズムを独自に提案した。この成果は、Face and Gesture Recognition国際会議で未来の顔を予測する国際コンペに参加し見事、本人にそっくりという基準での1位の性能を獲得した。
４）半透明物体の3次元形状復元 ランバート面を仮定できない石鹸や蝋などの物体形状復元を、曲率依存反射関数の実測によって高精度かつ高速に実現するという画期的な手法を提案し、その精度を実験的に示した。
|
| Strategy for Future Research Activity |
今後は各研究課題に対して、さらなる性能向上とより汎用性の高いシステム構築を実現していく。
１）1枚の顔画像からの3次元形状復元 照明条件の制約を緩和し、任意の照明環境下での3次元復元性能を実現する。 ２）個性を保持したフォトリアルなリップシンク 顔向きや表情変化などにも対応可能なアルゴリズムの拡張を実現する ３）個性を保持した経年変化顔画像合成 頭髪の付加やアニメーションのいける経年変化の影響等を考慮したアルゴリズム開発を行う ４）半透明物体の3次元形状復元 曲率依存反射関数の様々な欠点を解決すべく新しいアルゴリズムの開発を行う
また、トップコンファレンスへの投稿など、国内外での論文発表を推進する。また、アニメ制作会社やゲーム会社等と制作現場でのシステムの性能評価を進める。
|
| Causes of Carryover |
データベースを多く必要としない画期的な方法論を独自に確立したため、データベース収集に予定されていた予算に余裕が生じた。
|
| Expenditure Plan for Carryover Budget |
これらの予算は、国際会議等への成果発表等、海外旅費や国内旅費の充実のため有意義に使用する予定である。
|
Research Products
(7 results)
