2018 Fiscal Year Research-status Report
Reflectance Parameter Estimation in Large Outdoor Environments for Practical Graphics Production
Project/Area Number |
18K18075
|
Research Institution | Waseda University |
Principal Investigator |
谷田川 達也 早稲田大学, 理工学術院, 日本学術振興会特別研究員 (50817484)
|
Project Period (FY) |
2018-04-01 – 2022-03-31
|
Keywords | 逆レンダリング / 多視点ステレオ法 / 双方向反射分布関数 |
Outline of Annual Research Achievements |
本研究は同一物体を撮影した画像群から、その物体の三次元形状ならびに拡散、光沢の両反射特性を推定することを目的とする。計画書の段階では、従来の画像間の対応点に基づく多視点ステレオ法で物体の形状を表す点群データを取得し、各頂点に対して、あらかじめ360度カメラ等で取得した光源情報から逆レンダリングする手法を検討していた。ただ、検討を進めると点群のような疎な特徴だけで立体形状を表現する場合、特に空間的な変化が見た目の変化に影響を与えやすい光沢反射の成分を正しく復元できない可能性が示唆された。その一方で、近年発表された深層学習に基づく多視点ステレオ法の多くでは、対象の物体を撮影した各入力画像に対して深度と法線の情報を計算し、それらを統合することで三次元形状を復元する。深層学習に基づく手法は、点群に基づく従来法と違い、入力画像の各画素において何らかの形でパラメータを付与できる利点があり、上記の問題を解決できる可能性がある。もちろん、深層学習でも情報が不足している箇所では、不正確な結果となりうるため、これまでに作成した点群情報に基づく手法と深層学習に基づく手法を統合することで、研究目的である拡散反射と光沢反射の両方の取得に向けたシステムの改良を行っている。加えて、逆レンダリングに用いる光源環境の表現形式についても検討を進めている。当初は、360度カメラ等で取得した光源環境を用いるよう計画していたが、光源環境についても入力画像から推定する方向性も同時に検討中である。今回は屋外の物体が対象であることもあり、代表的な天空光源のモデルであるHosek-Wilkieモデルを検討中だが、仮に深層学習を用いるとすれば、簡略化されたパラメトリック・モデルを使うべきかは検討の余地もある。今後は従来法で使用されたいくつかの光源環境表現法に対して、最も深層学習モデルと相性の良いものを引き続き検討していく。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
コンピュータ・グラフィクスにおいて広く用いられる反射パラメータの表現法は拡散反射と光沢反射の両方を考慮するが、従来の逆レンダリング手法は多くの場合、拡散反射成分しか考慮しない。この意味において、本研究の目指す技術は未開拓の領域であるが、とはいえ、逆レンダリングならびに多視点ステレオ法は歴史の長い研究分野であり、非常に多くの従来研究が存在する。また、上記の通り、近年は深層学習をこれらの技術に応用することも盛んであり、要素技術の調査にある程度の時間を要することは当初から予想していた。本年度の研究では、目に見える成果を上げるには至っていないが、上記の背景を踏まえれば、おおむね研究の方向性も固まってきており、順調に研究が遂行したと考えられる。
|
Strategy for Future Research Activity |
深層学習を用いる三次元形状復元ならびに逆レンダリングの手法が多数提案されている今でも、従来の三次元幾何学ならびに幾何光学に基づくアルゴリズムの精度は高い。上記の通り、本研究課題においても、当初は、一般的な多視点ステレオ法のアルゴリズムで得られる点群データに対して逆レンダリングのアルゴリズムを適用する予定で開発を進めていた。その一方で、深層学習に基づくアルゴリズムは、従来のアルゴリズムでは補間することが難しい領域においても、それらしい形状、反射パラメータを出力できるという利点もある。この考えに基づき、今後の研究では、この両者を視野に入れた、より頑健な手法の開発を行っていく。
|