2012 Fiscal Year Annual Research Report
| Project/Area Number |
12J08321
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
中島 諒 東京大学, 大学院・情報理工学系研究科, 特別研究員(DC2)
|
|---|
| Keywords | 3次元映像 / 自由視点画像 / 超解像 |
|---|
| Research Abstract |
本年度は、3次元映像生成の最も重要な課題の一つである多視点映像からの自由視点映像生成について注目した。
特に、高品質な映像の生成を可能とする枠組みとして、超解像による高解像度化を伴う自由視点映像生成について検討を行った。なお、以降ではこの処理のことを超解像自由視点映像生成と呼ぶ。
本年度は、カメラ配置と合成品質の関係についての理論を構築した。さらに、この理論に関連する成果として、学習型超解像を組み合わせた超解像自由視点映像合成の手法を提案した。以下でそれぞれの詳細について述べる。
(1)多視点カメラ配置の理論的検討
超解像自由視点映像生成において、多視点カメラの配置と合成される映像の品質との関係を理論的に定量化した。
本研究で対象としている映像生成手法は、多視点の低解像度画像を相互に位置合わせして高解像度画像を合成する再構成型超解像に基づいている。本研究では、超解像自由視点映像生成を周波数領域での定式化することによって、カメラの配置とシーンの奥行き、そして合成される画像の品質の関係を定量化する理論を構築した。この理論は多視点カメラ設計のための基礎的なガイドラインとなりうると考えられる。この成果については査読付き英文論文誌として発表した。
(2)学習型超解像を組み合わせた超解像自由視点映像生成
前述のように、再構成型超解像を用いた超解像自由視点映像生成では、カメラ配置やシーンの奥行きによって合成品質が変化するが、これはシーン全体を高品質で合成するためには望ましくない。この問題を緩和するため、再構成型超解像に学習型超解像を組み合わせた超解像自由視点映像生成の手法を提案した。学習型超解像とは、多数の自然画像から学習された特徴を再現することにより画像を高解像度化する処理である。この学習型超解像を組み合わせることにより、カメラ配置やシーンの奥行きによらず高品質な画像を合成する手法を提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
交付申請書に記載した本年度の最終的な目標は、3次元映像の品質を定量化する基礎理論の構築である。本年度の成果であるカメラ配置に関する理論によって、この目標は達成できたと考えている。なお、申請書ではこの理論を構築する過程で、様々な手法を自由視点画像合成に使ったときの合成品質の実験的評価を予定していたが、提案理論で合成品質の原理的な限界を導出できたため、この評価は必ずしも必要ではないと判断した。
|
| Strategy for Future Research Activity |
本年度の目標を達成できたことに加え、学習型超解像と再構成型超解像の両方を組み合わせた新しい自由視点画像合成手法を提案できたという点から、「当初の計画以上に進展している」と評価する。
今後の推進方策としては、第一に処理の高速化を考えている。本年度提案した学習型超解像を組み合わせた自由視点画像合成手法は処理速度が遅いという問題点がある。そこで、グラフィックスプロセッサを用いた並列処理による高速化も行いたいと考えている。
また、実際の多視点カメラではカメラの位置合わせ誤差、レンズ歪などの誤差要因が存在する。これらの誤差がある状況においても高品質な画像合成を可能にすべく、理論的な解析および手法の改良を進めたいと考えている。
|
