2016 Fiscal Year Annual Research Report
Photo-realistic Face Analysis and Synthesis in Image and Video to Generate Personal Characteristics
| Project/Area Number |
26280062
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 3次元顔形状復元 / リップシンク合成 / 経年変化顔動画像合成 / 似顔絵からの実写復元 / キャラクタ合成 / 肥痩顔画像合成 / 犯罪捜査支援システム / パッチベース画像合成 |
|---|
| Outline of Annual Research Achievements |
人間の顔は、個性、年齢、性別、感情、健康状態など情報を表示可能なディスプレイであり、ＣＧにおけるもっとも困難な研究ターゲットの一つである。本研究では、このような人間の顔の表現しうる様々な属性特徴に関して、特に個人の特徴を定量的かつ高精度に反映可能な表現手法の確立が目的である。
このような観点から、平成28年度は、以下の５つの研究テーマの成果を上げることができた。１）顔画像1枚からの高精度かつロバストで高速な３次元顔形状復元手法 ２）個性を保持した顔の肥痩形状変形技術 ３）顔のイラストからの実写映像を復元する技術 ４)表情変化を伴う経年変化顔動画像合成 ５）３次元モデルを介さない多言語吹き替えのための音声にシンクロしたアニメキャラクタの口形状合成である。
まず１枚の顔画像からパッチベースの３次元形状復元手法を提案した。27年度の成果をさらに発展させ、低解像画像や照明環境の異なる入力に対してもロバストな３次元復元性能を実現した。次に、顔のMRIデータベースに基づき１枚の画像入力から、個性を保持したまま肥らせるまたは痩せさせる操作を簡単に実現可能な顔画像合成システムを実現した。これによって、数年前の指名手配犯の画像に対して個性を保持したまま経年変化を施し、現在の顔を予想した上で、さらに聞き取り情報によって肥痩変形を施すことができる、捜査支援インタフェースを実現した。また写真データベースに基づいて手書きの似顔絵からパッチタイリングの手法によって実写画像を復元する技術を実現した。さらに経年変化を目的とし、顔表情変形を伴う動画像に対して本人の特徴を保持したままに、皺の変形に着目して経年変化を施す動画像合成技術を実現した。また入力音声にシンクロしたリップシンクを自動生成するロバストな手法を開発し、任意のアニメキャラクタに音声にシンクロして喋らせるシーンを自動生成することが可能となった。
|
| Research Progress Status |
28年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
28年度が最終年度であるため、記入しない。
|
| Causes of Carryover |
28年度が最終年度であるため、記入しない。
|
| Expenditure Plan for Carryover Budget |
28年度が最終年度であるため、記入しない。
|
