2021 Fiscal Year Annual Research Report

Super-resolution Restoration of Depth and Image Based on Camera Motion Simulating Fixational Eye Movement

Research Project

Project/Area Number	19K12046
Research Institution	Tokyo Metropolitan University
Principal Investigator	田川憲男東京都立大学, システムデザイン研究科, 教授 (00244418)
Project Period (FY)	2019-04-01 – 2022-03-31
Keywords	オプティカルフロー / カメラ運動 / 最尤推定 / 多重解像度 / 変分ベイズ推定
Outline of Annual Research Achievements	昨年度からの継続で、連属する２フレームからの奥行復元の高精度化を検討した。動きからの奥行復元について、再度その枠組みを確認すると、剛体運動等の仮定を持ちずにオプティカルフローを検出した後、その結果を解析してカメラ運動と奥行を求める二段階法、当初から剛体形状（例えば局所的な平面）を仮定し、その制約のもとでオプティカルフローを検出する直説法の二つが、従来より議論されている。二段階法は、当該研究者が以前扱っていた課題であり、その際の成果として、制約なしのオプティカルフローが一般に大きな誤差を伴うことを想定し、その影響を抑えたカメラ運動の計算法として、重み付き最小二乗法を提案した。この手法は、本課題における局外母数に相当する奥行の知識を、カメラ運動推定の偏りを引き起こすことなく組み込むことが可能であり、適切な重みを用いることで最尤推定よりも分散の少ない解を得ることができる。今回は、この重みの決定法について検討し、画像上でオプティカルフローの値が類似している領域を検出し、その領域内で観測方程式を平均化することに対応する重みを用いることで、従来よりも精度の高いカメラ運動復元が可能であることがわかった。一方、昨年度より検討している直接法の枠組みでの奥行復元についても検討した。これまでは、多重解像度処理におけるカメラ運動推定結果の情報伝搬の際、伝搬させる分散をモンテカルロ的に求めていた。今年度は変分ベイズ推定としてアルゴリズムを再構築した。このアルゴリズムの性能評価までを実施する予定であたったが、現在、プログラム作成の段階でとどまっている。