|
本年度は、主に物理モデルを考慮した深層フォトメトリックステレオ法について検討した。実画像を用いてVR技術と親和性の高い実写品質の映像生成のためには、画像からシーンの大雑把な幾何的情報のみならず、微細な形状やあるいは被写体の反射特性等を明らかにする必要がある。これにより、シーンの視点変化に応じた反射を反映させたり、屋内シーンの照明変化を反映させた仮想空間を提示することが可能となる。それを実現するための手法として、複数の異なる光源下で撮影された陰影画像から被写体の表面法線を復元するコンピュータビジョンアルゴリズムであるフォトメトリックステレオ法に取り組んできた。我々は2018年度に画像枚数や入力順序に依存しない、深層学習に基づくフォトメトリックステレオ法(CNN-PS法)を世界に先駆けて発表した。しかし、CNN-PS法は完全に学習データに基づく手法であるため、光源方向・材質・法線分布等の条件が学習時とテスト時にある程度一致していなければ上手く動作しないという問題点が明らかになった。そこで、2018年に提案したデータに基づくアプローチと1980年以来研究されてきた物理ベースのアプローチを融合する事を試みた。具体的には、深層学習を利用して表面法線と表面の材質（表面色、粗さ、金属質感）を同時に推定し、それらを個々に正解データと比較するのみならず、組み合わせを物理モデルによって評価することにより物理的知識をモデルに反映させた。我々の実験では、この手法を用いる事により、テストデータ内に学習データと異なる条件が含まれていても頑健に形状推定が可能である事を示した。加えてこの手法は、単純に性能が高いというわけではなく、損失関数に物理的制約を入れただけなので、実装が容易であり、かつ既存の学習データをそのまま用いる事が可能である。
|
