2013 Fiscal Year Annual Research Report
大規模空間を対象とする人物ビルボードを用いた任意視点映像生成提示方式の高画質化
| Project/Area Number |
25280056
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
大田 友一 筑波大学, 副学長 (50115804)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
亀田 能成 筑波大学, システム情報系, 准教授 (70283637)
北原 格 筑波大学, システム情報系, 准教授 (70323277)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 任意視点映像 / 高画質化 / 複合現実型提示 / スポーツ中継 / 没入型提示 / ネットワークメディア / 映像圧縮 / インタフェース |
|---|
| Research Abstract |
４年間の研究期間の基盤を固めるため、データセットの構築、および、人物ビルボード方式の高画質化適性の検証に取り組んだ。
高画質な任意視点映像を生成するためには、映像テクスチャの高画質化は必須課題である。最大10台の一眼レフカメラ（キヤノンEOS 5D MarkII）を用いた超高解像度多視点画像の撮影実験を実施し、データセットを構築した。また、任意視点映像の組織的な画質評価を実施するために、コンピュータグラフィックス（CG）を用いて、撮影時に発生する様々なノイズを定量的に制御した多視点映像データセットの構築も行った。
高画質な任意視点映像の生成のみを目的とする場合には、視体積交差法などによって３次元形状を復元する方式に比べ、我々が提案する人物ビルボード方式の優位性が高いことを実験的に検証・確認した。具体的には、上述したCGデータセットにおいて、カメラの台数や画像の解像度などの撮影条件を等しく設定し、生成過程で発生するノイズをコントロールしながら生成した映像を用意し、それらに対して両方式を適用した結果生成された映像の画質評価を実施した。
検証実験において、被写体が静止している場合、人物ビルボードに貼付けるテクスチャ（多視点画像）の切り替わりが知覚されやすいことがわかった。そこで当初計画に加え、画像モーフィング技術を用いて多視点画像を内挿することにより、切り替わり時の見え方の変化を軽減し、提示映像を高品質化する研究にも取り組んだ。被写体の３次元的な見え方の変化に対応可能な画像モーフィング技術であるView Morphingに、被写体とそれ以外の情報を与えることで、我々が想定している撮影環境で頻出し、従来手法では対応困難であったオクルージョン問題を回避することが可能になった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初計画していた、超高解像度多視点画像のデータセットの構築、および、コンピュータグラフィックスを用いてノイズを定量的に制御した多視点映像データセットの構築を行い、人物ビルボード方式が高画質化に適性を持つことの検証実験を実施した。さらに、その結果明らかになった課題に対し、画像モーフィングによる高画質化処理の開発に取り組み、当初計画以上の進展を得た。
|
| Strategy for Future Research Activity |
平成25年度に得られた結果を基にして、標準画質映像レベルにまで高画質化した任意映像生成提示システムの構築に必要な要素技術の研究開発に取り組む。特に、高画質化のためのバンド幅の拡張と、高画質な任意視点映像をストレスなく使用者に提示する手法の開発に注力する。
最終目標である高画質な任意視点映像の生成のために、映像テクスチャの解像度を上げるとデータ量も増大する。これに対して、10Mbps以下の帯域で伝送できることを目標として、映像テクスチャデータの効率的な圧縮方式を開発する。
任意視点映像の提示方法として、２次元ディスプレイへの提示だけではなく、頭部装着型の高精細ディスプレイを用いて、スポーツ選手の視点になった没入感の高い提示を行う方法を開発する。本研究課題で開発する任意視点映像システムでは、ユーザの視点を、対象とする３次元空間中の任意の位置に置くことが可能である。また、背景から切り出された動物体のみを描画することも可能である。このようなシステムの特長を最大限に活かした提示方法として、通常の２次元ディスプレイに表示するだけでなく、選手の視点になって360度見回し可能な没入型提示や、模型のコート上で実写の選手がプレーするといった、複合現実型提示が有効と考えられる。
|
| Expenditure Plans for the Next FY Research Funding |
研究の進捗によって新たに導入することが必要となった最新の高精細ビデオカメラ（４Kカメラ）について、H25年度に1台導入して性能を確認した上で、H26年度にもう1台を導入することとし、その導入に必要となる経費を次年度使用額とした。
次年度使用額と合わせて物品費として70万円、研究発表旅費として100万円、人件費・謝金として100万円、その他として20万円を使用する計画である。
|
