2012 Fiscal Year Research-status Report
| Project/Area Number |
24560450
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
藤井 俊彰 名古屋大学, 工学(系)研究科(研究院), 教授 (30273262)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 自由視点映像 / 奥行きマップ / 光線空間 / 疎表現 / エピポーラ平面画像 / 圧縮センシング |
|---|
| Research Abstract |
本研究の目的は，自由視点映像を生成するためのデータ形式として，映像(View)と奥行
情報(Depth)を用いるという従来の手法の枠組みを超え，自由視点映像を生成するための新しい表現形式(Representation)を研究することである．
今年度は，まず自由視点映像生成の原理を検証するため，ViewとDepthに基づく自由視点映像の生成過程を分析した．MPEGで検討されている N-View N-Depth の方式を用いた映像生成リファレンスソフト VSRSで用いられているアルゴリズムについて検討を進め，3Dワーピングにより生じるホールを埋める処理について研究を行った．次に，エピポーラ平面画像をブロックに分割し，このブロックを要素画像の線形結合で表現する方式について検討を行った．さらに，圧縮センシング(Comressed Sensing)の考え方を導入して，非零係数の要素画像の個数を画像の次元の10-20%程度に抑えた上での評価を行った．要素画像の候補として，まずは直交基底をなすDFT(Discrete Fourier Transform)やDCT(Discrete Cosine Transform)を用いて分解・再構成をした場合の特性を評価した．次に，直交性を緩和し，さらに過完備基底を用いることによる性能の向上を目指し，Greedy Pursuit Methodや，k-SVD（特異値分解）による分解法を検討した．さらに，要素画像を辞書とみなし，非零係数の要素画像の個数をさらに減らせるような辞書の学習法を検討した．辞書の評価としては，各要素画像間のコヒーレンシーが小さくなるような手法や，要素画像間エントロピーを定義しこれが小さくなるような手法等を検討した．これらの手法が，自由視点映像を生成するための新しい表現形式Representation)の基礎となり得ることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度の目的は大きく二つであり，ViewとDepthに基づく自由視点映像の生成過程を詳細に分析することと，映像生成に必要な最小限の情報の探求であった．まず一つ目の目的については，現在MPEGで検討されている N-View N-Depth の方式を用いた映像生成リファレンスソフト VSRS (View Synthesis Reference Software) で用いられているアルゴリズムについて検討を進めた．View+Depthの形式のデータから自由視点映像を生成するアルゴリズムとしては3Dワーピングが一般的であるが，デプスの不連続領域においてホールが生じるという問題が知られている．ホールの生じる要因として，オクルージョンによるものと同一物体上ではあるもののワーピング前後の解像度の違いにより生じるものとがあることを明らかにし，両者を別々に処理を行うことにより，視覚的に良好なホールフィリングが可能であることを示し，目標はほぼ達成された．
他方の映像生成に必要な最小限の情報の探求としては，エピポーラ平面画像を分割したブロックパターンを要素画像の線形結合で表現する方式について検討を行った．圧縮センシング(Comressed Sensing)の考え方を導入して，非零係数の要素画像の個数を画像の次元の10-20%程度に抑えた上で，直交基底をなすDFTやDCT，次に，直交性制約をはずし，さらに過完備基底を用いて，Greedy Pursuit Methodや，k-SVD（特異値分解）による分解法を検討した．さらに，要素画像を辞書とみなし，学習により辞書を最適化していく方法を検討した．学習過程において各要素画像間のコヒーレンシーやエントロピーを小さくする項を加えた最適化を行うことで，性能が向上できることを示した．これにより，二つ目の目標もほぼ達成したと言える．
|
| Strategy for Future Research Activity |
平成25年度には，平成24年度に得られた知見に基づき，密な間隔で取得された光線空間での理論を拡張し，疎な光線空間についての標本化・再構成の理論へと発展させる．さらに，この理論に基づく自由視点映像の表現法(Representation)を開拓する．平成26年度には，その情報を得るための取得原理を研究するとともに，プロトタイプを構築し原理の検証を行う．具体的には，以下の手順に従って研究を進めていく．
１．平成24年度に得られた結果を元に，比較的疎な間隔で撮影された光線空間の理論へと発展をさせる．
２．上記１の理論をさまざまな多視点映像のデータに適用し，View＋Depthの手法により生成された自由視点映像との品質との比較を行い，理論の検証をしていく．
３．上記の知見に基づいて，自由視点映像の表現法(Representation)を研究する．さらにこの表現法から生成される自由視点映像の品質をView+Depth手法により生成された映像の品質との比較の観点から評価する．
４．以上の知見をまとめ，自由視点映像の表現方法(Representation)として定式化する．
|
| Expenditure Plans for the Next FY Research Funding |
平成25年度には，前年度に構築したシステムを用いたデータの解析および理論構築が主となる．このため，高速画像処理用のソフトウェアに加えて，大量のデータを蓄積するための大容量ハードディスクドライブや記録メディアを購入する．さらに，成果発表を積極的に行いたいと考えており，このため国内外の旅費として使用するとともに，前年度と同様，外国語論文の校閲や投稿料として使用する．
|
Research Products
(17 results)
