2013 Fiscal Year Research-status Report
ビデオシースルー拡張現実感における画像中からの現実物体の除去に関する研究
| Project/Area Number |
24700118
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
河合 紀彦 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (30610670)
|
|---|
| Keywords | 隠消現実感 / 画像修復 / 形状修復 / 物体除去 / 拡張現実感 |
|---|
| Research Abstract |
1.背景の形状が複雑なシーンにおけるテクスチャと奥行の同時修復による隠消現実感の実現
当該年度では背景が１つの平面で表せない環境における一般的な現実物体を除去対象とした隠消現実感手法を開発した。具体的には、対象物体の背景が複数の平面から構成され、対象物体の前後に動物体が存在しないという仮定のもと、SLAM(Simultaneous Localization and Mapping)を用いて背景の複数平面とカメラ位置姿勢を算出する。それらの情報を用いて、入力画像から各平面を真正面から見たような画像を平面の数だけ作成し、他の平面に属する画像領域を取り除いた上で、それらの画像に対して画像修復を行うことで、立体的なシーンでも高品質な修復を行った。また、検出した複数平面と毎フレームのカメラ位置姿勢の推定結果を用いることで、時間的なテクスチャの整合性を保持した。開発した手法を用いて、屋内外の様々な環境で実験することで、違和感なく現実物体を実時間で隠消できることを確認した。
2.画像修復手法の開発
隠消現実感の要素技術となる画像修復手法を開発した。具体的には、１枚の画像のみを入力とし、ランク最小化の枠組みにより入力画像中の透視投影歪みを除去し、事例ベースの画像修復手法を適用することで、そのままの入力画像に対して修復するよりも高品質な修復結果を得られる手法を開発した。
3.画像・形状の同時修復手法の開発
隠消現実感の要素技術となる画像と形状の同時修復手法を開発した。具体的には、画像と形状の組を入力とし、形状に対してプリミティブを当てはめ、それに基づき画像を展開することで、透視投影歪みが除去された画像および奥行マップを取得し、それに対して事例ベースの修復手法を適用することで、高品質に画像と形状を同時に修復する手法を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成25年度に計画していた項目(d)背景の形状が複雑なシーンにおけるテクスチャと奥行の同時修復、に取り組み、成果を上げることができた。具体的には、平成24年度に行った研究で用いた、対象の背景は１つの平面で表せるという条件を緩和し、背景は複数の平面で構成されるという仮定を用いることで、屋内の壁に囲まれた場所や屋外の比較的単純な形状の箇所では、３次元的なシーンに対しても違和感のない、一般物体の除去を実時間で実現することができた。
平成24年度に投稿していた論文は論文誌ITE MTAに採択された。当該年度行った内容は国際会議IEEE ISMARで発表を行い、その発表によりBest Poster - Hnourable Mentionを受賞したことから、研究内容は高い評価を得ていると考える。また、その発展版を論文誌に投稿中であることから、おおむね順調に進展していると考える。
|
| Strategy for Future Research Activity |
今後は、申請書の計画通り、研究項目(d)背景の形状が複雑なシーンにおけるテクスチャと奥行の同時修復のさらなる発展を目指すとともに、研究項目(e)被験者実験による有効性の検証・評価と手法の改良に取り組む予定である。
具体的には、今年度は、除去対象物体の背景形状が複数の平面で構成されるという仮定を用いたが、実際の背景には曲面の壁や街灯等の細い物体等が含まれるため、このようなシーンにも対応できるよう、複雑な形状の修復を行うとともに、奥行が正しく推定できない場合でも、テクスチャの幾何学的補正等を施すことで、複雑な背景に対しても違和感のない現実物体の実時間除去を実現する手法を開発する。
項目(e)に関して、本研究課題において、対象領域の真の背景を再現するのは本質的に不可能であるため、定量的に評価することは難しい。このため、本研究では複数の被験者に従来手法と提案手法による結果を主観的に評価してもらい、違和感を判定してもらうことで手法の有効性を検証する。
|
| Expenditure Plans for the Next FY Research Funding |
投稿した論文誌の投稿料が期間限定で無料であったため、当初予定していた投稿料を計上しなかった。また、次年度に招待講演により多数の国際会議に参加する予定ができ、当該年度での経費の利用を控えた。これらにより、次年度使用額が生じた。
国際会議での招待講演の予定が複数入ったため、当初の予定よりも多く旅費および学会参加費を計上する予定である。また、当初予定していた通り、計算機の消耗品、評価のための人件費・謝金、論文誌の投稿料を計上する予定である。
|
Research Products
(5 results)
