2012 Fiscal Year Research-status Report
ビデオシースルー拡張現実感における画像中からの現実物体の除去に関する研究
| Project/Area Number |
24700118
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
河合 紀彦 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (30610670)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 隠消現実感 / 画像修復 |
|---|
| Research Abstract |
本研究は、ビデオ映像から視覚的に不要な現実物体を取り除き、その欠損領域に時間的・空間的に違和感のないテクスチャを実時間で合成する隠消現実感(Diminished Reality)の手法の開発を目的とする。平成24年度においては、拡張現実感に用いられる正方形マーカを除去対象とした隠消現実感の手法を開発した。ここでは、まずマーカ周辺の形状を考慮した高品質な画像修復手法の開発を行った。具体的には、マーカ周辺が局所的に平面であると仮定し、マーカを正面から見たような画像に変換することでテクスチャの透視投影歪を取り除き、その画像に対して修復処理を行う手法を開発した。この手法により、そのままの画像に対して修復するよりもより高品質が修復結果が得られることを実験により確認した。次に、照明条件の変化に対応した修復テクスチャの光学的な補正手法を開発した。具体的には、マーカ周辺の輝度変化の種類を、環境光の変化により生じる大局的な輝度変化と、人の影などのキャストシャドウにより部分的に明度が変化する局所的な輝度変化に分けて考え、マーカ領域内の輝度変化率を周辺の輝度変化率に基づき補間し、修復テクスチャを光学的に補正する手法を開発した。この手法により、周辺の照明条件が変わっても、修復テクスチャの明度が周辺環境に合わせて変化し、違和感なくマーカが隠消されていることを実験により確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成24年度に計画していた3項目、(a)対象周辺の形状を考慮した高品質な画像修復手法の開発、(b)カメラの位置姿勢推定誤差に対応したテクスチャの幾何学的な補正手法の開発、(c)照明条件の変化に対応したテクスチャの光学的な補正手法の開発、に取組み、成果を上げることができた。
具体的には、項目(a)に関して、対象周辺が平面であるという仮定のもと、画像を幾何学的に補正し修復することで、そのままの見え方の画像に対する修復結果よりも良好な結果が得られることを確認した。
項目(b)に関して、今年度はマーカを用いることでカメラの位置・姿勢が頑健に算出できたことから、幾何学的な補正をする必要が生じなかった。
項目(c)に関して、マーカ周辺の輝度変化の種類を、環境光の変化により生じる大局的な輝度変化と、人の影などのキャストシャドウにより部分的に明度が変化する局所的な輝度変化に分けて考え、マーカ領域内の輝度変化率を周辺の輝度変化率に基づき補間し、修復テクスチャを光学的に補正する手法により、周辺の照明条件が変わっても、修復テクスチャの明度が周辺環境に合わせて変化し、補正をしない場合に比べてより違和感なくマーカが隠消できることを確認した。
また、研究成果は、国内会議および国際会議で発表し、またその発展版を論文誌に投稿中であることから、おおむね順調に進展していると考える。
|
| Strategy for Future Research Activity |
今後は、申請書の研究計画通り、研究項目(d)背景の形状が複雑なシーンにおけるテクスチャと奥行の同時修復手法の開発、および研究項目(e)被験者実験による有効性の検証・評価と手法の改良に取り組む予定である。
具体的には、まず両項目に取り組む前に、平成24年度には除去対象が拡張現実感に用いる正方形マーカに限定していたが、今後は一般的な物体を対象とするように拡張する。そのためには、任意の物体をビデオ画像から指定することができる手法を開発する。
次に、項目(d)に関して、背景の形状が複雑な場合、カメラの動きに合わせてテクスチャを射影変換しただけでは、対象領域内のテクスチャの見え方の変化が周辺のテクスチャの見え方の変化とは異なるため違和感が生じる。そこで、対象領域に対して、テクスチャだけでなく、奥行画像も周辺の形状と調和するよう修復しておき、フレーム毎にテクスチャを奥行画像を用いてレンダリングすることで違和感のない合成を実現する。奥行画像の修復は、基本的には奥行画像の奥行値を画像の画素値とみなし、画像欠損修復手法を奥行画像に適応することで、修復ができると考える。ただし、奥行値が変化する箇所では、テクスチャの画素値も変化する傾向にある等、一般的には奥行とテクスチャには相関があると考えられるので、相関を考慮したテクスチャと奥行の同時修復手法を開発する。
項目(e)に関して、本研究課題において、対象領域の真の背景を再現するのは本質的に不可能である。よって、人間が視覚的な違和感を覚えないテクスチャの生成が本研究での目的となる。このような視覚的違和感は人間の経験に大きく依存するため、定量的に評価することは難しい。このため、本研究では複数の被験者に従来手法と提案手法による結果を主観的に比較してもらい、違和感を判定してもらうことで手法の有効性を検証する。
|
| Expenditure Plans for the Next FY Research Funding |
平成24年度は、購入した計算機が当初の想定よりも安価であったため、未使用額が生じた。
平成25年度は、平成24年度に購入した計算機の消耗品を購入予定である。また、開発手法の様々な使用環境を想定しており、屋内シーンを再現するために、背景のための様々なテクスチャを持つ壁紙や床の素材、除去対象となる物、照明条件の変化を再現するための照明器具を購入予定である。
国内会議及び国際会議に研究成果を投稿予定のため、英文論文校閲費、旅費、会議参加費を計上予定である。また現在投稿中である論文の掲載料・別刷り料を計上予定である。
|
