| 研究課題/領域番号 |
26280062
|
|---|
| 研究機関 | 早稲田大学 |
|---|
研究代表者 |
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
|
|---|
| 研究期間 (年度) |
2014-04-01 – 2017-03-31
|
| キーワード | 表情分析・合成 / ３Dアニメーション |
|---|
| 研究実績の概要 |
人物の顔は、個性、年齢、性別、感情、健康状態などの様々な情報を表示可能なディスプレイであり、ＣＧにおける最も困難なターゲットの１つである。本研究では、このような人物の顔が表現しうる様々な属性特徴のうち、特に個人の特徴を定量的かつ高精度にパラメータ表現する手法を第一に確立し、個性を保ったまま付随する他の属性を自由にコントロールできるシステムを構築することが目的である。特に、表情変化時の顔形状の動的な特徴変化のモデル化、皮膚の質感を表現するテクスチャの特徴表現を主な目的として初年度は研究を実施した。顔形状の動的な特徴変化は、基本となるキーシェープのブレンドによって実現するブレンドシェープアニメーションの考え方を基礎とした。ある人物（ベースキャラクタ）の表情変化動画像特徴を入力とし、別のキャラクタ（ターゲットキャラクタ）の表情変化をリターゲットするタスクを設定し、その際ターゲットキャラクタの個性がきちんと保存されるかどうかを評価基準として研究を進めた。元の表情変化をデフォーメーショントランスファによってターゲットの表情変化に転写を行い、その後に与えられたキーシェープ間の誤差を重畳させて個性を反映させるモデルを構築した。また皮膚の質感実現のための基礎検討として、皮膚と同様の半透明物体である蝋の特徴を画像から抽出し、レンダリング結果にその特徴を反映させる手法について提案した。これは、表面形状の曲率に基づいて明暗を与える新しいモデルであり、本来大域照明モデルを必要とするサブサーフェススキャッタリングの効果を局所的な特徴のみで表現する画期的なものである。これによりランバートと同等の演算量で、極めてクオリティの高い半透明物体の表現が可能となり、さらに実測に基づいて実物と同等の質感のクオリティを実現するレンダリング性能を実現することに成功した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の予定通り、人物の顔の個性の定量的な表現として、表情のブレンドシェープアニメーションの改良と皮膚の半透明な特徴の質感表現および実測方法について、要素技術を確立した。まずブレンドシェープアニメーションは本来、映画等で膨大なキーシェープ（多いケースでは2000以上）を用意しなければならないが、本提案手法では、数個のシェープを用意するだけで十分であり、またキーシェープで表現しえない表情表現では従来手法は必ず破たんする（近いものが表現できない）のに対して、本手法はデフォーメーショントランスファーを基礎としているため、極めて少ないキーシェープによってもリーズナブルな表情表現が担保されるという点で画期的である。この手法は、学会発表でもすでに高い評価されており、映像制作現場からのオファーによって共同研究も確立しつつある。一方、皮膚の質感表現の研究は、現在蝋やミルクのような皮膚に近い半透明な物体により手法の検討と評価を進めているが、物体の内部散乱によるサブサーフェススキャッタリングのモデル化に成功しており、また写真撮影された画像から物質の質感を抽出し、これをレンダリング結果に反映することに成功している。こちらも学会発表で高く評価されている。現状において、計測対象の法線ベクトルと撮影された写真数枚があれば、その物体の質感を別の物体にリターゲットすることも可能である。これは本来大域照明モデルを必要とする演算を局所照明モデルで近似するものであり、その演算量の少なさ（リアルタイムレンダリング可能）と表現できる質感の高さが高く評価されている。
|
| 今後の研究の推進方策 |
個性を表現する人間の顔の属性としては、年齢、性別、体格（BMI)による変化のバリエーションも含んでおり、これらの特徴空間を構築することが次年度以降の急務の課題である。そのためのデータベースの整備が必要であり、多くの被験者データの収集によって、これらの特徴をデータ解析によって明らかにしていく。特に体格については、MRI撮影を行って、骨格と皮膚の厚みとの関係の定量表現を試みる。これによって、BMI値等の健康指標との関係を明らかにし、より精度の高い肥痩シミュレーションに着手する。そのためにまずは、入力された顔画像もしくはレンジスキャンデータに対して精度の高い骨格の位置推定およびフィッティング操作が必要となる。そのための基本アルゴリズムの開発に着手する。
また、上記データベースに基づき、任意のカメラ方向から撮影した1枚あるいは複数枚の画像もしくはビデオ映像からレンジスキャンを介さず、被写体本人にこう忠実な３次元顔形状を復元し、メッシュモデルを自動構築する手法を開発する。さらに、表情変化軸、肥痩変化軸、年齢軸等の操作により個性を保ったまま、表情や痩せ太り、年齢等の属性を自由に操作することで任意に表情合成が可能な顔合成するシステムを構築する。また、データベースの拡充と、基本アルゴリズムのさらなる性能向上に向けて、関連研究の徹底的な調査と、国際会議等での成果公表を活発に実施することは言うまでもない。さらに今年度実施した表情リターゲットの研究および皮膚の質感表現に関しては、実測データとの比較や映像制作現場とのコラボレーションによって性能評価し、さらに改良を継続してゆく。
|
| 次年度使用額が生じた理由 |
初年度予定していた顔画像およびMRIデータベース収集は、既存のリソース（パブリックなデータベースなど）をある程度活用できることが判明 したため、予算の節約が生じた。また、初年度は、主に国内出張が多かったため、当初予定した旅費の予算に余裕が生じた。
|
| 次年度使用額の使用計画 |
今後予想される国際会議や国内シンポジウム等での発表などに積極的に参加する
ため、海外旅費および国内旅費として使用する予定である。
|
