| 研究課題/領域番号 |
16K00225
|
|---|
| 研究機関 | 岩手大学 |
|---|
研究代表者 |
藤本 忠博 岩手大学, 理工学部, 教授 (00312512)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2019-03-31
|
| キーワード | イメージベースＣＧ / ビデオベースＣＧ / 知的映像編集 / 多視点ビデオ映像 / 自由視点映像 / 実世界 / 仮想世界 / カメラアレイ |
|---|
| 研究実績の概要 |
本研究では、複数のカメラで撮影した多視点ビデオ映像から生成した実世界の自由視点映像上の物体にインタラクティブな編集を行い、仮想世界の自由視点映像を生成する技術を開発する。２次元幾何変換を実現した既開発の基礎技術をベースとし、ユーザが自由視点映像上の任意の目的物体を選択して抽出し、回転や拡大縮小などの３次元幾何変換を施し、他の位置に３次元移動して合成することで、実世界とは異なる仮想世界の映像をリアルタイムで生成することを目指している。
本研究で開発する技術では、目的物体の３次元回転など、自由視点からは見えない側の目的物体の映像も必要となるため、自由視点とは異なる編集視点から見た目的物体の抽出を行う必要がある。そこで、最終的には対象とする実世界シーンを周囲から囲むように撮影することを目指して、平成２８年度は、基礎実験のために、実世界シーンの映像を中心から９０度程度の範囲で取得できるようにカメラ２０台（現存のカメラを利用）を設置したカメラアレイを試作した。また、カメラアレイで取得したカメラ映像を利用して、編集視点に対する目的物体、自由視点に対する前方物体、後方物体を抽出する要素技術の開発を行った。この技術では、抽出したい物体が他の物体によって部分的に遮蔽されている場合にも全体像の抽出を可能とする。既開発の基礎技術では焦平面を用いた合成開口法を利用したが、凹凸のある物体表面が焦平面にフィットしない場合、鮮明な抽出ができなかった。そこで、凹凸のある物体の鮮明な抽出、さらに、動く物体を抽出し続けるトラッキングも可能とするため、プレーンスイープ法の導入を試みた。
また、仮想世界の自由視点映像を合成するための要素技術として、複数の２次元画像から仮想世界の２次元画像を合成するイメージモンタージュ技術の開発も行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
平成２８年度は、既開発の物体抽出技術にプレーンスイープ法を導入することで、凹凸のある物体の鮮明な抽出、さらに、動く物体を抽出し続けるトラッキングも可能とする改良技術の開発を完了する予定であったが、いまだに開発途中である。既開発技術は、高速なリアルタイム処理のため、ＧＰＵ上で効率的に動作するようにシェーダ言語を用いた特殊なプログラムの実装により実現されている。現状、改良技術の理論面での検討とアルゴリズムの設計までは済んでいるが、高い処理効率を維持しながら既開発技術のプログラムに組み込むことが容易ではなく、そのことが開発が遅れている主な理由である。
|
| 今後の研究の推進方策 |
今後は、まず、開発途中である物体抽出の改良技術を完成させる予定である。
その後、当初の計画に従い、目的物体の３次元幾何変換（編集視点の適切な決定も含め、ユーザの意図を容易に的確に３次元幾何変換で表現し、変換後の目的物体の映像を得る）、目的物体の３次元移動（自由視点からの奥行方向も考慮して３次元位置を特定し、目的物体の移動を行う）、仮想世界映像の生成（幾何変換と移動を施した目的物体、抽出した前方物体と後方物体の映像を合成することで、自由視点から見た仮想世界映像を生成する）のための技術開発を行う。
|
| 次年度使用額が生じた理由 |
物体抽出の改良技術の開発に遅れが生じたため、新規購入のカメラによるカメラアレイの構築、新規購入のＰＣによるＰＣクラスタの構築ができなかった。
|
| 次年度使用額の使用計画 |
新規購入のカメラによるカメラアレイの構築、新規購入のＰＣによるＰＣクラスタの構築を行うために使用する。
|
