2018 Fiscal Year Research-status Report

顔の三次元データ活用のための顔認識手法の研究

Research Project

Project/Area Number	17K00508
Research Institution	Sapporo City University
Principal Investigator	松永康佑札幌市立大学, デザイン学部, 講師 (40464391)
Project Period (FY)	2017-04-01 – 2020-03-31
Keywords	仮想身体モデル / フェイシャルアニメーション
Outline of Annual Research Achievements	コンピュータグラフィックスを用いた人体表現を行うためには、「形」と「動き」の計測が必要である。これまで皮膚変形に着目して研究を行ってきたが、より人間らしい表現を求め、顔表情に関する研究を行う。顔表情の計測から、ＣＧによる再現までの工程を自動化し、計測からゲームや映画などの最終的なコンテンツを即時提供できるワークフローを確立することを目的とする。特に顔認識の工程では、カラー画像による処理ではなく、奥行データや三次元形状データを用いた処理とし、精度と即時性の高いコンテンツ制作環境を目指す。体験者が顔の計測後、表情豊かな自分の登場する映像コンテンツを速やかに体験することを目標としている。本研究において、顔形状を自動的に計測し、活用可能な状態で保存することは重要である。今年度は顔形状の自動計測手法について見直しを行った。従来ではSfM法による三次元形状データの計測を行うために、10から20台の一眼レフカメラを用いて、同期撮影および撮影データを取得していたが、設置に時間がかかることや、可搬性が低いこと、カメラ台数を増やす際のコストの問題などがあった。IoT技術の発達により、カメラ性能を維持しつつ、より小型軽量で安価な計測システム構築の可能性が出たため、新たな計測システムの構築および検証を行った。新しく構築した計測システムでは、無線接続可能なシングルボードコンピュータ20台を用いて、それぞれのボードにカメラユニットを接続し、ホストコンピュータからのコマンド操作による同時撮影およびデータ確認が可能となった。小型軽量化に伴い、簡単に持ち運びが可能となったため、移動を伴う運用の制限が緩和された。また、カメラ１台あたりの追加コストが、従来の1/10程度に抑えることが可能となったため、十分な台数を確保し、形状データの精度を高めることが容易となった。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason SfM法による詳細な三次元顔形状の計測については、新たに市販されたシングルボードコンピュータを活用することにより、計測システム全体をより実践的で扱いやすくすることが可能となった。小型軽量化に伴い、可搬性を高め、移動を伴う運用計画が立てやすくなったことや、カメラの追加に伴うコストが下げられたため、三次元形状の推定に必要な画像の数を増やし、より正確な形状が得られるようになった。使用しているコンピュータの計算速度の向上に伴う、形状計測時間の短縮もあり、おおむね順調に進展している。また、懸念されていたToF方式の顔形状の計測機器であるMicrosoftKinectの製造中止に伴う影響は、後継機KinectAzureの発売に伴い、なくなったと考えている。
Strategy for Future Research Activity	令和２年度計画では、三次元形状計測、表情の計測データを基にした、ゲームキャラクターや映像コンテンツを制作し、科学館などでの公開展示を計画している。初期段階では、少数スタッフ運営による期間限定の体験型コンテンツの展示とし、段階を踏んで、必要とするスタッフを減らし、将来的には無人でも運用できる、体験型の常設展示を科学館で行うことを計画している。また、表現可能な表情のパターンを増やし、コンテンツ体験者が自分を認識しやすくするための工夫を行う。また、後継機KinectAzureの導入を行い、本計測システムに反映できるようにプログラムの修正を行う予定である。
Causes of Carryover	研究の進捗には問題はないが、当初想定していた学会への参加が、都合により不参加となったため、研究に必要な物品の購入を行ったが、残額が生じた。残額は、研究計画に関連する機材の購入のための費用に充てる。