| 研究課題/領域番号 |
16K00225
|
|---|
| 研究機関 | 岩手大学 |
|---|
研究代表者 |
藤本 忠博 岩手大学, 理工学部, 教授 (00312512)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2019-03-31
|
| キーワード | イメージベースＣＧ / ビデオベースＣＧ / 知的映像編集 / 多視点ビデオ映像 / 自由視点映像 / 実世界 / 仮想世界 / カメラアレイ |
|---|
| 研究実績の概要 |
本研究では、複数のカメラによる多視点ビデオ映像から生成した実世界の自由視点映像上の物体にインタラクティブな編集を行い、実世界とは異なる仮想世界の自由視点映像をリアルタイムで生成する技術の開発を目指している。２次元幾何変換を実現した既開発技術を改良し、ユーザが選択して抽出した自由視点映像上の目的物体に３次元幾何変換を施し、３次元移動して合成し、仮想世界の映像を生成する。
本研究の開発技術では、目的物体の３次元回転など、自由視点から見えない側の目的物体の映像も必要となるため、自由視点とは異なる編集視点から見た目的物体を抽出する必要がある。そこで、最終的には実世界シーンを周囲から撮影することを目指し、平成２８年度は、実世界シーンの映像を中心から９０度程度の範囲で取得するカメラ２０台によるカメラアレイを試作し、その動作を確認する基礎実験を行った。そして、平成２８年度後半から平成２９年度には、編集視点に対する目的物体と自由視点に対する前方物体と後方物体を抽出する要素技術のため、他の物体に部分的に遮蔽された物体も抽出可能とする焦平面による既開発技術を改良し、プレーンスイープ法の導入により凹凸のある物体の鮮明な抽出や動く物体を抽出し続けるトラッキングも可能とする新技術の開発を試みた。さらに、可変の撮影条件（カメラの配置など）のもとでロバストかつ高精度に動作するシステムの開発にあたり、多様な要素を考慮した試行錯誤的な実験を容易に実現するため、実環境を模擬する仮想環境をコンピュータ内に構築し、適宜、任意の条件で開発中のプログラムが実行できるようにした。
また、本研究への応用の可能性を考慮し、複数のＲＧＢＤカメラによるデプス映像も利用した自由視点映像生成技術、さらに、複数の実世界の画像から仮想世界のパノラマ画像を合成するイメージモンタージュ技術の開発も行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
平成２８年度に引き続き、平成２９年度は、既開発の物体抽出技術にプレーンスイープ法を導入し、凹凸のある物体の鮮明な抽出、さらに、動く物体を抽出し続けるトラッキングも可能とする新技術の開発を完了する予定であったが、開発途中の状態が続いている。既開発技術は高速なリアルタイム処理のためにＧＰＵ上で効率的に動作するようにシェーダ言語を用いた特殊なプログラムの実装により実現されており、新技術の実現にはそのプログラムの精密な改良が必要である。現状では、新技術の理論面での検討、アルゴリズムの設計、開発途中のプログラムの基本動作の確認までは済んでいるが、高い処理効率を維持しながら既開発技術のプログラムを改良することが容易ではなく、そのことが開発の遅れが生じている主な理由である。
|
| 今後の研究の推進方策 |
平成３０年度は、開発途中であるプレーンスイープ法の導入による物体抽出の新技術を完成させる。また、並行して、平成２９年度に開発した実環境を模擬する仮想環境を利用して、目的物体の３次元幾何変換（拡大縮小、回転）と３次元移動、仮想世界映像の生成のための技術開発を行う。３次元幾何変換では、ユーザが意図した３次元幾何変換に合わせて３次元空間上の適切な編集視点の位置と方向を自動決定し、変換後のものとする目的物体を抽出した映像を得る必要がある。また、３次元移動では、自由視点からの奥行方向も考慮して３次元位置を特定し、目的物体の移動を行う必要がある。そして、仮想世界映像の生成においては、自由視点映像上の前方物体と後方物体の間の適切な位置に目的物体を合成する必要がある。これらの実現方法の検討、アルゴリズムの設計、プログラム実装と実験を行い、本研究による開発技術の効果を検証する。
|
| 次年度使用額が生じた理由 |
理由：物体抽出の新技術の開発に遅れが生じたため、新規購入のカメラによるカメラアレイの構築、新規購入のＰＣによるＰＣクラスタの構築ができなかった。
使用計画：新規購入のカメラによるカメラアレイの構築、新規購入のＰＣによるＰＣクラスタの構築を行うために使用する。
|
