research on facial 3D data processing for facial animation

2019 Fiscal Year Annual Research Report

• Project/Area Number: 17K00508
• Research Institution: Sapporo City University
• Principal Investigator: 松永 康佑 札幌市立大学, デザイン学部, 講師 (40464391)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: フェイシャルアニメーション / 仮想身体モデル

Outline of Annual Research Achievements

初年度はSfM法とToF法による計測データを用いて、計測データの精度差に関する検証を行った。カラー画像を用いない計測方法の一つとして、赤外線カメラ画像を対象として、画像処理による顔認識を用いた手法について検討を行った。赤外線画像処理においても従来のOpenCVによる顔認識技術が問題なく適用できたことを踏まえ、本研究活動に取り入れた。
二年目以降では顔形状の自動計測手法について見直しを行った。IoT技術の発達により、カメラ性能を維持しつつ、より小型軽量で安価な計測システム構築の可能性が出たため、新たな計測システムの構築および検証を行った。新しく構築した計測システムでは、無線接続可能なシングルボードコンピュータ20台を用いて、それぞれのボードにカメラユニットを接続し、ホストコンピュータからのコマンド制御による同時撮影およびデータ確認が可能となった。小型軽量化に伴い、簡単に持ち運びが可能となったため、移動を伴う活用の幅が広がった。また、カメラ１台あたりの追加費用が従来の1/10程度に抑えることが可能となったため、より多くのカメラ台数を確保し、形状データの精度を高めることが容易となった。
2019年末にAIを活用したソフトウェアが発表され、正面写真一枚から顔形状推定による三次元顔形状のモデリングが可能となった。写真から自動的にアニメーション可能な三次元顔データを得ることが出来るため、基本のデータ構造として活用した。この基本のデータ構造のうち、頂点の順番を変えずに、位置座標だけを三次元形状データにフィットさせることで、アニメーション可能で実際の顔形状に近いモデルを作成することが可能となった。