2011 Fiscal Year Annual Research Report
パッチマッチング法による実写3次元映像の圧縮と処理
| Project/Area Number |
22650016
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
山崎 俊彦 東京大学, 大学院・情報理工学系研究科, 准教授 (70376599)
|
|---|
| Keywords | 3次元映像 / 圧縮 / パッチマッチング |
|---|
| Research Abstract |
本研究の目的は研究代表者が開発したパッチマッチング法により、実写3次元映像を効率的に圧縮・符号化することである。平成22年度までの研究で、パッチマッチング法について基礎的な実験を行い、パッチ間の相関と圧縮(フレーム間圧縮)については隣接フレーム間のパッチ同士の頂点や色情報を比較して類似したパッチを探索することで、効率よくフレーム間の差分を圧縮できることを確認した。
本年度は、パッチマッチング法を用いた、より効率的な符号化手法の確立を目指し、(1)頂点情報と色情報のビットレートの配分、(2)フレーム内圧縮とフレーム間圧縮のビットレートの配分について詳細に検討を行った。
(1)の頂点情報と色情報のビットレートの分配について。実写3次元を構成する頂点・色・結線情報の3種類の情報の内、結線情報の圧縮についてはこれまでに様々な手法が提案されている。それに対し、頂点一と色情報についてはあまり検討がなされていなかった。そこで、全体のビットレートが与えられたときに結線情報と色情報のビットレートの最適な分配方法について検討した。その結果、最終的な映像品質は色情報よりも頂点情報の復号精度に大きく左右され、色情報のビットレートは9-14bpv程度で十分であることを明らかにした。
(2)のフレーム内圧縮とフレーム間圧縮のビットレートの配分については、フレーム間圧縮の復号品質はフレーム間の差分情報のほうが支配的で、フレーム内圧縮のレートはある程度(10bpv程度)高くしておけば十分であることが明らかになった。また、フレーム間圧縮はフレーム内圧縮に較べて2倍程度符号化効率が高いことも明らかとなり、本研究で提案するパッチマッチング法の優位性が示された。
そのほか、被写体の体の部位ごとにパーティクルフィルタリングで追跡を行い、フレーム間の対応を取ることで結線情報を変えることなく実写3次元情報を記述する手法についても発展的課題として研究した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
計画していたパッチマッチング法の最適化だけでなく、いくつかの発展的課題に取り組むことができ、計画以上の成果を上げることができたため。また、発展的課題として3次元医療画像処理や人物の属性解析などにも応用・展開している。
|
| Strategy for Future Research Activity |
提案手法の優位性が実験により確認されたため、今後はソースコードの再構築、論文誌への投稿などを行っていく。
|
