Development of interactive editing technique of real world video using multi-viewpoint video

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K00225
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: Iwate University
• Principal Investigator: Fujimoto Tadahiro 岩手大学, 理工学部, 教授 (00312512)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: イメージベースＣＧ / ビデオベースＣＧ / 知的映像編集 / 多視点ビデオ映像 / 自由視点映像 / 実世界 / 仮想世界 / カメラアレイ

Outline of Final Research Achievements

The goal of this research is to develop a technique to enable a user to interactively edit an existing object displayed in a free-viewpoint video of a real world, which is generated by multiple cameras, and create a free-viewpoint video of a virtual world in real time. In order to extend 2D geometric transformations to 3D ones, we developed a method to purely extract an object with a bumpy surface occluded by other objects using plane sweep. We constructed a virtual environment in a computer simulating a real environment for fundamental experiments with various conditions. We tried to improve a shader program to make a clustering process more efficient. In addition, we developed a free-viewpoint video technique using multiple RGB-D cameras, and image montage techniques to generate a virtual world image from real world images.

Free Research Field

メディア工学、コンピュータグラフィックス、画像処理、コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

研究代表者の知る限り、自由視点のビデオ映像を撮影と同時にリアルタイムでインタラクティブに編集する技術はなく、本研究は学術的に非常に独創的であると言える。応用分野として、映像コンテンツ制作の他に、遠隔地の実世界を仮想的に操作可能とする遠隔コミュニケーション（遠隔会議、遠隔展示など）やナビゲーションなどが挙げられ、さらには、本技術を実用化する映像スタジオの構築、制作者と視聴者や視聴者同士のリアルタイムインタラクションを可能とするライブ映像を配信する放送システムの実現なども考えられる。我々の生活を豊かにする大きな可能性を持つという観点から、社会的意義のある研究であると言える。