2019 Fiscal Year Research-status Report
Reflectance Parameter Estimation in Large Outdoor Environments for Practical Graphics Production
| Project/Area Number |
18K18075
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
谷田川 達也 東京大学, 大学院工学系研究科(工学部), 助教 (50817484)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 逆レンダリング / 多視点ステレオ法 / 双方向反射分布関数 / 反射パラメータ |
|---|
| Outline of Annual Research Achievements |
本研究は同一物体を撮影した画像群から、その物体の三次元形状を推定する多視点ステレオ法において、物体表面の反射特性を同時推定することで精度向上することを目指している。本年の研究では、深層学習の発展により多視点ステレオ法の頑健性ならびに精度が大幅に向上した現在でも、反射特性の同時推定が、さらにその性能を向上させる可能性が示唆された。
従来の深層学習に依らない多視点ステレオ法においては、反射特性の同時推定が手法の頑健性ならびに得られる三次元形状の正確性向上に寄与することが報告されていた。一方で、近年の深層学習を用いた手法では、ニューラルネットワークの中で上記の反射特性が暗に考慮されることで精度向上に寄与しているとの見方もあり、深層学習を用いる最新手法に対しては、反射特性の同時推定が従来法同様に精度向上に寄与するかは不透明であった。これに対して、本年の研究では、比較的単純な反射特性と光源環境の同時推定を組み合わせるだけで、深層学習による多視点ステレオ法の精度向上が見られた。多くの場合、深層学習に用いられる学習データが不完全な形状の情報しか含まず、形状の情報のみで学習すると、出力形状においても、学習データの不完全性を引き継いでしまう。その一方、本研究のように反射特性を同時推定すれば、形状情報を持たない領域においても、逆レンダリングの技術から間接的に形状を学習でき、全体の精度が向上したものと考える。
また、深層学習を用いる技術では、しばしばネットワーク内部での学習内容が不明確であることが問題視されるが、上記の成果は、多視点ステレオ法において用いられる深層学習が何を学習しているのかの理解につながる重要な発見である。今後は、この成果を論文として公表する準備を進めるとともに、光沢面における複雑な反射や、環境マップによる一般的な光源環境表現の取り扱いを可能とし、さらなる手法の精度向上に努めたい。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の最終目的は、コンピュータ・グラフィクスの分野で一般に用いられる拡散・光沢の両反射特性ならびに環境マップを用いた光源環境の同時推定による多視点ステレオ法の精度向上である。その中で、本年までの研究では、従来法で用いられてきた拡散反射のみを含む単純な反射特性の推定と近似的な光源環境表現を導入するだけで、深層学習を用いた多視点ステレオ法の精度が向上することが分かった。この結果は、上記の最終目標が達成された際の、さらなる精度向上を強く予感させる結果であり、本研究の遂行は順調であると言って良い。
|
| Strategy for Future Research Activity |
本年度、上記の手法に至る過程で、三次元形状の表現手段として、三角形メッシュや、点群、陰関数曲面の利用可能性についても検討を行ってきた。今後は、上記のより一般的な反射特性や光源環境の扱いを検討することはもちろん、多様な三次元形状表現法を取り扱う深層学習についても、反射特性の同時推定の有効性を検討していきたい。また、研究実績で述べた通り、現在の深層学習に基づく手法は、学習データの性質を強く受けることは避けられない。その意味で、より複雑でかつ完全な形状情報を含む学習データセットの構築についても検討していきたい。
|
