2017 Fiscal Year Research-status Report
| Project/Area Number |
17K00508
|
|---|
| Research Institution | Sapporo City University |
|---|
Principal Investigator |
松永 康佑 札幌市立大学, デザイン学部, 講師 (40464391)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 仮想身体モデル / フェイシャルアニメーション |
|---|
| Outline of Annual Research Achievements |
コンピュータグラフィックスを用いた人体表現を行うためには、「形」と「動き」の計測が必要である。これまで皮膚変形に着目して研究を行ってきたが、より人間らしい表現を求め、顔表情に関する研究を行う。顔表情の計測から、ＣＧによる再現までの工程を自動化し、計測からゲームや映画などの最終的なコンテンツを即時提供できるワークフローを確立することを目的とする。特に顔認識の工程では、カラー画像による処理ではなく、奥行データや三次元形状データを用いた処理とし、精度と即時性の高いコンテンツ制作環境を目指す。体験者が顔の計測後、表情豊かな自分の登場する映像コンテンツを速やかに体験することを目標としている。
初年度である平成29年度は、SfM法とToF法による計測データを用いて、計測データの精度差に関する検証を行い、SfM法で得られた計測データを基準として、ToFデータの誤差の大きさについて確認を行った。また、ToF法の代表的なMicrosoftKinect機器による顔形状の推定データによる形状誤差についての確認も行った。
カラー画像を用いない計測方法の一つとして、赤外線画像処理による顔認識を用いた手法について検討を行った。赤外線画像処理においても従来の顔認識技術が問題なく適用できたことを踏まえ、今後の研究活動に取り入れることを考えている。
即時性の観点では、SfM法によるデータ精度と計算時間の調査を行い、一定時間以内で得られる、効率的な計算手順について検証を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度である平成29年度は、SfM法とToF法による計測データを用いて、計測データの精度差に関する検証を行い、SfM法で得られた計測データを基準として、ToFデータの誤差の大きさについて確認を行った。また、ToF法の代表的なMicrosoftKinect機器による顔形状の推定データによる形状誤差についての確認も行った。
カラー画像を用いない計測方法の一つとして、赤外線画像処理による顔認識を用いた手法について検討を行った。赤外線画像処理においても従来の顔認識技術が問題なく適用できたことを踏まえ、今後の研究活動に取り入れることを考えている。
即時性の観点では、SfM法によるデータ精度と計算時間の調査を行い、一定時間以内で得られる、効率的な計算手順について検証を行った。
以上の進捗状況は、当初より計画していたものであり、順調に進展している。ただし、2017年末にMicrosoftKinectの製造中止の発表があり、本研究で使用している機材に今後不具合が起きた場合、研究の進捗に大きな影響が出る可能性が確認された。対策としては、他社より提供されている機材への対応を念頭に置き、ハードウェア、ソフトウェア両面における調査が必要と考えており、必要に応じて代替可能なハードウェアの導入について検討を続ける必要が生じている。この問題については、直ちに本研究に支障をきたすものではなく、既に十分な機材体制を整えているため、研究計画上では大きな問題となるとはとらえていない。
|
| Strategy for Future Research Activity |
平成30年度計画では、眼、鼻、口などの顔の特徴情報をもった三次元形状データをアニメーションさせるための骨構造の定義を行う。骨構造は全身の体骨格に使用するが、顔形状の変形にも有効である。一般には30 以上の骨構造を顔に入れる必要があり、より多くの骨を割り当てるほど、表現の自由度が増す。しかし、制御のしやすさの観点から、あまり多くすることはできないため、骨の数と配置について検証する必要がある。また、この骨の移動量は、顔の特徴点の移動量とリンクするため、見つけやすい特徴点である必要があり、SfM 法の特徴点検出の計算結果を踏まえる必要がある。
以上の検証項目に対して、一般被験者による検証実験が必要である。顔の特徴は千差万別であるため、できるだけ多くの顔で検証し、問題が生じることがないか確認する必要がある。認識できない顔がある場合、問題点の抽出、改善のための認識プログラムの修正が必要になる。
平成31年度計画では、三次元形状計測、表情の計測データを基にした、ゲームキャラクターや映像コンテンツを制作し、科学館などでの公開展示を計画している。初期段階では、少数スタッフ運営による期間限定の体験型コンテンツの展示とし、段階を踏んで、必要とするスタッフを減らし、最終的には無人でも運用できる、体験型の常設展示を科学館で行うことを計画している。また、表現可能な表情のパターンを増やし、コンテンツ体験者が自分を認識しやすくするための工夫を行う。
即時性の高いコンテンツの提供のため、形状計測および動作計測について、可能な限りの時間短縮が求められる。この点については、スキャンライン法、ストライプパターン法による計測実験を含め継続的に研究を進める予定である。
|
| Causes of Carryover |
研究の進捗には問題はないが、当初想定していた学会への参加が、都合により不参加となったため、研究に必要な物品の購入を行ったが、残額が生じた。残額は、研究計画に影響を及ぼす可能性のある機材の購入や、将来を見据えた、他のシステムの検証のための費用に充てる。
|
