Scene flow estimation for 3D video coding and its application to motion and depth compensation

2022 Fiscal Year Final Research Report

• Project/Area Number: 17K12717
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Perceptual information processing
• Research Institution: Sophia University (2021-2022); Tokyo University of Science (2017-2020)
• Principal Investigator: KAMEDA Yusuke 上智大学, 理工学部, 助教 (50711553)
• Project Period (FY): 2017-04-01 – 2023-03-31
• Keywords: 画像符号化 / 映像符号化 / オプティカルフロー / シーンフロー / 奥行きマップ / 動き補償 / 動き推定 / データ圧縮

Outline of Final Research Achievements

We have identified a fundamental technology that improves the data compression ratio of 3D video, which is expected to be put into practical use. Specifically, the compression ratio is improved by reducing the prediction error of pixel values through highly accurate estimation of apparent motion vectors and motions in the depth direction (scene flow) for each pixel of the video. In terms of the transmission order of video frames and depth maps in data compression, we proposed a method to estimate these motions step by step.

Free Research Field

画像処理

Academic Significance and Societal Importance of the Research Achievements

学術的意義として、本研究は映像データ圧縮符号化の研究分野とコンピュータビジョンの研究分野との横断的テーマであり、それぞれの技術をうまく融合させることで新たな価値を実現しているため、両分野の学術的発展にも寄与することが考えられます。また、工学的・社会的意義として、本研究成果は、将来の立体テレビジョン放送や映像配信、ビデオ撮影など広く一般社会に普及するであろう技術の基盤となりうることが挙げられます。