Super-resolution Restoration of Depth and Image Based on Camera Motion Simulating Fixational Eye Movement

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K12046
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Tokyo Metropolitan University
• Principal Investigator: Tagawa Norio 東京都立大学, システムデザイン研究科, 教授 (00244418)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 固視微動 / 奥行復元 / オプティカルフロー

Outline of Final Research Achievements

In this study, we conducted a computational study of depth perception by fixative tremor. There are two methods for extracting the camera motion and depth information of the optical flow generated between two consecutive images, whether or not the optical flow is explicitly detected. Both of these were examined. Focusing on the fact that the estimation accuracy of camera motion is insufficient in the method of explicitly detecting optical flow, we constructed an algorithm with higher accuracy than maximum likelihood estimation. In the framework of the direct method that does not explicitly detect optical flow, we constructed a multi-resolution processing algorithm based on the variational Bayes method.

Free Research Field

コンピュータビジョン,　超音波工学

Academic Significance and Societal Importance of the Research Achievements

本研究成果は、固視微動の奥行知覚への貢献を計算論的に明らかにするものである。固視微動のメカニズムやその機能は、未だ十分に解明されておらず、学術的に意義深いものと考える。一方で、応用面からは、カメラを不規則に動かしながら対象を撮影することで、３次元情報の抽出が可能であり、簡潔なハードウェアとして有効な技術となり得る。本研究を更に進めることで、連続画像の有する豊富な情報を十分に活用した撮像系が実現可能であり、少ない画素でも高精細な画像を得ることが可能となると期待される。