2019 Fiscal Year Annual Research Report

Analysis of object shape, pose and illumination from high-resolution images

Research Project

Project/Area Number	17K00239
Research Institution	Okayama University
Principal Investigator	右田剛史岡山大学, 自然科学研究科, 助教 (90362954)
Project Period (FY)	2017-04-01 – 2020-03-31
Keywords	３次元形状復元 / 未校正照度差ステレオ法 / 2眼ステレオ / 非線形最小２乗法 / 2次曲面
Outline of Annual Research Achievements	本研究では，画像生成の逆問題として定式化される物体の３次元形状復元（照度差ステレオ，SfM）や物体追跡を統一された定式化で扱うことを目指しており，当該年度は主に，未校正照度差ステレオ法（照明条件の違いに基づき物体形状と光源位置を同時に推定する手法）と，SfM法（物体形状と視点に対する位置姿勢を同時に推定する手法）を融合する手法を検討した，この際，本手法では対象物体を2次曲面（楕円体または一葉層曲面）の集合で表し，かつ画像間の対応付けを明示的に行わないことが特徴となっている．これによる利点の一つは，物体の概形と光源位置を効率的に推定できることである（計算量の解像度依存度が低い）．一方，高周波情報を利用した詳細形状の推定は今後の課題である，照度差による形状推定と視点の違いによる形状推定は，誤差の傾向に違いがあるため，この2つを融合することにより推定精度の向上（GBR不定性の低減）が期待され，実験的にも確認された．なお，実験では2視点の場合のみを検証したが，定式化上は視点数には依存しないため，原理的には動画中の物体追跡にも応用可能な定式化である．追跡ではしばしば粗い追跡と精細な追跡を組み合わせる方法（Coarse-to-fine法）が用いられるが，本手法を粗い追跡に適用することが期待できる．また，一視点のみからの観測では物体の裏側を推定できない一方，多視点で裏側を推定するには複雑な形状表現や画像生成モデルを要する問題がある．本形状表現法は，この問題を取り扱う一つの候補でもある（前述のように高周波の詳細は別途検討する必要がある）．その他に，この種の問題に現れる特殊な疎構造の最小2乗法解法についていくつかの新しい手法を試みたが，現在までに用いている手法を凌駕するには更なる検討を要する．