2012 Fiscal Year Annual Research Report
複数台手持ちカメラを用いた3次元コンテンツ生成に関する研究
| Project/Area Number |
12J08515
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
池畑 諭 東京大学, 大学院・情報理工学系研究科, 特別研究員(DC2)
|
|---|
| Keywords | 奥行き画像超解像 / 奥行き画像欠損補填 / 照度差ステレオ |
|---|
| Research Abstract |
本研究では高品質な3D映像生成のための,デプスカメラ画像や光学的情報からの3次元構造復元手法を提案した.本年度では研究実施計画に基づき主に下記の二つの課題について検討した.
-課題(1)多視点ステレオ法またはデプスセンサによって取得された奥行き画像(デプスマップ)の高精度化
-課題(2)照度差ステレオに基づく高精度表面形状の取得
課題(Dを解決するために,(a)複数視点の精度の低いデプスマップの信頼度に基づく融合法の提案,(b)奥行きとテクスチャの共起性に基づくデプスマップの欠損補填および超解像,(c)コストボリュームフィルタを利用したデプスマップの超解像.という3つの手法を提案した.提案手法(a)では,複数視点のノイズや欠損を多く含むデプスマップから取得された信頼性の高い情報を用いてデプスマップを高精度化した.提案手法(b)では,奥行き画像とテクスチャ画像の間に存在する統計的共起性に基づいて奥行き画像中の欠損領域を補填し,また解像度を向上させた.提案手法(c)では,大域的最適化問題を効率良く最適化するために提案されたコストボリュームフィルタをデプスマップの超解像問題に適用した.以上より高品質なデプス取得が困難な現状のデプスセンサの限界を克服する事が可能となった.また課題(2)に関しては,複数の光源下で撮影された画像から被写体の法線を復元する照度差ステレオ法において,影やノイズといった外乱に頑健な手法を提案した.提案手法は拡散反射をランバートモデルあるいはさらに一般的な拡散反射モデルによって表現し,鏡面反射それ以外の観測要素を拡散反射成分に対してスパースな外乱であると仮定し,その下でスパース回帰と呼ばれる手法によって拡散反射成分とそれ以外の要幸を分離しつつ,表面法線を復元した.提案手法により様々な材質の物体の高精度な3次元構造が復元可能となった.課題(1)-(b),(c)および課題(2)の一部については雑誌,学術会議にて査読中である.
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究では3次元構造の取得においてデプスカメラを利用した手法と,反射特性を利用した照度差ステレオ法という二つの側面から検討したが,いずれにおいて現状で提案されている手法と比して高い精度を実現する事ができた.事実,提案手法はコンピュータビジョンの最高峰の国際会議であるCVPRにも採択されており,提案手法の有効性が評価されている.また既にそれを上回る手法も確立しており,その点で期待以上に進展していると評価した.
|
| Strategy for Future Research Activity |
現状では,デプスカメラを用いた3次元構造復元,照度差ステレオを用いた構造復元に関しても,ある程度理想的な状況を想定している.例えば現状ではデプスカメラで撮影された画像とカラーカメラで撮影された画像の間の重ね合わせは成功している事を前提しているが,実際はそれ自体が課題の一つである.また照度差ステレオにおいても入力画像を与える光源が既知であるという条件を与えているが,現実的にはそれが困難である場合も多い.
そこで次年度においては理想的な状況下において実現された高精度な3次元構造復元手法をより汎用的,実践的に適用する事に焦点を当てる.実際にデータセットも,評価用の共通データセットでは無く,自身で取得したノイズを含むデータを既に利用し始めている.また照度差ステレオ法に関しても,光源環境が未知の場合や,環境光が含まれていて問題が複雑になっている場合においても適用可能な手法を検討している.
|
Research Products
(3 results)
