2022 Fiscal Year Annual Research Report
High-fidelity 3D reconstruction based on geometric and photometric modeling
| Project/Area Number |
21K21286
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
山藤 浩明 大阪大学, 大学院情報科学研究科, 助教 (40830906)
|
|---|
| Project Period (FY) |
2021-08-30 – 2023-03-31
|
| Keywords | ３次元復元 / 多視点照度差ステレオ法 |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的は，観測視点及び光源環境を変化させながら撮影した多視点・多光源観測画像を入力として用いて，対象物体の高精細な3次元形状を獲得することである．
多視点観測から得られる幾何的な拘束条件と，多光源観測から得られる測光学的な拘束条件の両方を考慮しながら高精細な形状を推定するために，微分可能レンダリングを用いた再構成誤差の最小化による最適化を考える．微分可能レンダリングとは，出力画像がシーンを構成するパラメータ，ここではとくにシーンの形状，に対して微分可能になるようにレンダリングする技術であり，入力画像と出力画像間の誤差が小さくなるように形状を更新することで，最終的な形状を推定する．
本研究課題では，とくに形状の表現として，方向付き点群を用いる手法を提案した．方向付き点群を微分可能なメッシュ化アルゴリズムによってメッシュ化し，得られたメッシュをさらに微分可能レンダラを用いてレンダリングすることによって再構成誤差を計算する．この誤差は点群の位置と方向に対して微分可能であるため，最適化によって形状を推定することが可能である．形状表現に点群を用いる提案手法は，ニューラル関数などを陰関数表現と比較して，既存のレンダラなどにおいて扱いやすくアプリケーションへの応用の幅が広い，という利点がある．また，初期形状を与えることが容易であり，最適化の収束が早いという利点もある．点群と同じく陽な形状表現であるメッシュ表現を用いる手法に対しては，物体のトポロジ変化を表現できる，という利点がある．結果として，様々なアプリケーションへの応用が容易な高精細3次元形状復元手法を実現した．
|
