2018 Fiscal Year Annual Research Report
Development of interactive editing technique of real world video using multi-viewpoint video
| Project/Area Number |
16K00225
|
|---|
| Research Institution | Iwate University |
|---|
Principal Investigator |
藤本 忠博 岩手大学, 理工学部, 教授 (00312512)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | イメージベースＣＧ / ビデオベースＣＧ / 知的映像編集 / 多視点ビデオ映像 / 自由視点映像 / 実世界 / 仮想世界 / カメラアレイ |
|---|
| Outline of Annual Research Achievements |
本研究では、複数のカメラによる多視点ビデオ映像から生成した実世界の自由視点映像上の目的物体にインタラクティブな編集を行い、実世界とは異なる仮想世界の自由視点映像をリアルタイムで生成することを目標とする。目的物体に２次元幾何変換を行う既開発技術を改良し、３次元幾何変換を可能とする技術の開発を目指した。
３次元回転などの３次元幾何変換は、自由視点から見えない側の目的物体の映像も要し、自由視点とは異なる編集視点から見た目的物体を抽出する必要がある。そこで、平成２８年度は、実世界シーンの映像を中心から９０度程度の範囲で取得するカメラアレイを試作し、動作を確認する基礎実験を行った。平成２８年度後半から平成２９年度は、編集視点に対する目的物体と自由視点に対する前方・後方物体を抽出する要素技術のため、他の物体に部分的に遮蔽された物体も抽出可能とする焦平面による既開発技術を改良し、プレーンスイープ法の導入により凹凸物体の鮮明な抽出や動物体の連続的な抽出も可能とする新技術の開発を試みた。また、様々な撮影条件のもとでロバストかつ高精度に動作するシステムの開発にあたり、多様な要素を考慮した試行錯誤的な実験を容易に行うため、実環境を模擬する仮想環境をコンピュータ内に構築した。平成３０年度は、上記のプレーンスイープ法を利用した新技術の基礎部分を完成させ、検証実験を行った。また、その核となるクラスタリング処理がＧＰＵ上で高速に動作するようにシェーダプログラムの改良を試みた。
上記の他、本研究への応用の可能性から、複数のＲＧＢＤカメラによるデプス映像も利用した自由視点映像生成技術、複数の実世界画像から仮想世界画像を合成するイメージモンタージュ技術の開発も行った。
最終的に当初の目標の実現には至らなかったが、本研究の今後の継続に向けた多くの知見や解決すべき問題点が明らかとなり、有意義な結果が得られた。
|
