研究課題
本研究の目的は研究代表者が開発したパッチマッチング法により、実写3次元映像を効率的に圧縮・符号化することである。平成22年度までの研究で、パッチマッチング法について基礎的な実験を行い、パッチ間の相関と圧縮(フレーム間圧縮)については隣接フレーム間のパッチ同士の頂点や色情報を比較して類似したパッチを探索することで、効率よくフレーム間の差分を圧縮できることを確認した。本年度は、パッチマッチング法を用いた、より効率的な符号化手法の確立を目指し、(1)頂点情報と色情報のビットレートの配分、(2)フレーム内圧縮とフレーム間圧縮のビットレートの配分について詳細に検討を行った。(1)の頂点情報と色情報のビットレートの分配について。実写3次元を構成する頂点・色・結線情報の3種類の情報の内、結線情報の圧縮についてはこれまでに様々な手法が提案されている。それに対し、頂点一と色情報についてはあまり検討がなされていなかった。そこで、全体のビットレートが与えられたときに結線情報と色情報のビットレートの最適な分配方法について検討した。その結果、最終的な映像品質は色情報よりも頂点情報の復号精度に大きく左右され、色情報のビットレートは9-14bpv程度で十分であることを明らかにした。(2)のフレーム内圧縮とフレーム間圧縮のビットレートの配分については、フレーム間圧縮の復号品質はフレーム間の差分情報のほうが支配的で、フレーム内圧縮のレートはある程度(10bpv程度)高くしておけば十分であることが明らかになった。また、フレーム間圧縮はフレーム内圧縮に較べて2倍程度符号化効率が高いことも明らかとなり、本研究で提案するパッチマッチング法の優位性が示された。そのほか、被写体の体の部位ごとにパーティクルフィルタリングで追跡を行い、フレーム間の対応を取ることで結線情報を変えることなく実写3次元情報を記述する手法についても発展的課題として研究した。
1: 当初の計画以上に進展している
計画していたパッチマッチング法の最適化だけでなく、いくつかの発展的課題に取り組むことができ、計画以上の成果を上げることができたため。また、発展的課題として3次元医療画像処理や人物の属性解析などにも応用・展開している。
提案手法の優位性が実験により確認されたため、今後はソースコードの再構築、論文誌への投稿などを行っていく。
すべて 2012 2011 その他
すべて 雑誌論文 (7件) (うち査読あり 6件) 学会発表 (7件) 図書 (1件) 備考 (1件)
Proceedings of SPIE Medical Imaging
巻: (CD-ROM) ページ: #831434
Proceedings of 2012 IEEE International Conference on Acoustics, Speech, and Signal Processing
ページ: 1421-1424
Proceedings of 3DTV-Conference 2011
巻: (CD-ROM) ページ: #35
Proceedings of 5th ACM/IEEE International Conference on Distributed Smart Cameras
巻: (CD-ROM) ページ: #61
Proceedings of IEEE International Conference on Image Processing 2011
ページ: 901-904
Proceedings of 18th International Conference on MultiMedia Modeling
ページ: 541-550
Advanced Electronics and Information System for Quality Life and Society
http://www.hal.t.u-tokyo.ac.jp/ja/index.html
