2015 Fiscal Year Annual Research Report
大規模空間を対象とする人物ビルボードを用いた任意視点映像生成提示方式の高画質化
| Project/Area Number |
25280056
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
大田 友一 筑波大学, 特命教授 (50115804)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
亀田 能成 筑波大学, システム情報系, 准教授 (70283637)
北原 格 筑波大学, システム情報系, 准教授 (70323277)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 任意視点映像 / 高画質化 / 人物ビルボード / 大規模空間 / 没入型提示 |
|---|
| Outline of Annual Research Achievements |
任意視点映像システムでは視点移動の自由度が大きいため、マウスなどの入力デバイスを用いて視点移動の操作を行うことは容易ではない。そこで、今年度は、スポーツ科学関係者など映像処理に詳しくないユーザでも直観的に視点移動操作が可能なインタフェースの開発に注力し、高画質な任意視点映像をストレスなく使用者に提示する手法を提案した。
入力の直観性の向上を目的として、両手を使ってジオラマモデルの位置姿勢を操作することによって、仮想化３次元世界の見え方を変化させるインタフェースを実現した。ジオラマの位置・姿勢、観察者の視点位置を計測し、それに対応したテクスチャをビデオプロジェクタでジオラマ上に投影する一連の処理を33m秒以下で処理することにより、ビデオレート（毎秒30フレーム）での映像提示が可能となった。RGB-Dカメラを導入することで、プロジェクションによって見え方が大きく変化する環境下でも安定してジオラマの位置・姿勢や観察者の視点位置の推定が可能となった。提案手法を実装したパイロットシステムを用いた実証実験により手法の実用性を示した。
ユーザが視聴を希望する視点位置が、任意視点映像生成の観点からは必ずしも適切であるとは限らないため、入力された視点位置を修正し、映像の品質を改善する手法を提案した。具体的には、より高い解像度のテクスチャが観察可能な位置への視点位置設定を支援する仕組みと、ユーザが指定した仮想カメラの位置・姿勢に対してオクルージョンを回避し構図を整えるように適切に補正する仕組みを実現した。補正量が過度に大きくなると観察を希望していた見え方と提示映像の見え方の印象が異なってしまうため、補正処理が許容される範囲を定義し、その範囲内で視点位置を補正する。提案手法の検証実験を通じて、ユーザが入力した視点位置の補正処理が、高品位な任意視点映像獲得に貢献することを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
素人にも直観的に操作可能な視点移動インタフェースの実現を通じ、高画質な任意視点映像をストレスなく使用者に提示する手法の開発に取り組み、計画以上の成果を得ている。模型のコートを手で操作することによって視点移動を指示する映像閲覧方式は、プロジェクション環境下における動的かつ急激な見え方の変化において安定した物体追跡処理が必要であったが、可視光映像に加えて奥行き情報の計測が可能なRGB-Dカメラを導入することにより、パイロットシステムの開発に成功し、国際会議での発表成果を得ている。指定された視点移動方法を半自動で維持する方式についても、より高い解像度のテクスチャが観察可能な位置への視点位置設定を支援する仕組みと、ユーザが指定した仮想カメラの位置・姿勢に対してオクルージョンを回避し構図を整えるように適切に補正する仕組みを有する映像閲覧システムを開発し、学会での発表が受賞するなど高い評価を得ている。
|
| Strategy for Future Research Activity |
計画最終年度となる平成28年度は、頭部装着型高精細ディスプレイによる複合現実型提示法の開発に取り組む。頭部装着型の高精細ディスプレイを用いて、選手の視点からスポーツシーンを360度見回し可能な没入型提示を実現する。開発した提示システムを、筑波大学の体育科学分野の教員や国立スポーツ科学センターの研究員、およびそれらが指導するオリンピック選手クラスのトップアスリートに提供し、スポーツ科学分野における利活用の可能性を検証する。また、遠隔地へのライブ中継システムの実現や、資料や教材としての蓄積・再生型コンテンツの構築により、任意視点映像技術のスポーツ科学分野への浸透を進める。
|
| Causes of Carryover |
スポーツ科学分野への浸透に関する実証実験での利用を計画していた蓄積・再生型コンテンツの制作時期が遅れたため、未使用額が生じた。
|
| Expenditure Plan for Carryover Budget |
平成28年度に計画しているライブ中継システムや資料・教材としての蓄積・再生型コンテンツの構築において、次年度の経費と未使用額分を合わせて、中継から提示までを含めたコンテンツ制作費に当てる。
|
