2022 Fiscal Year Research-status Report
Physics-based vision under uncontrolled illumination environmnent based on contrastive feature disentanglement
| Project/Area Number |
22K17919
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
池畑 諭 国立情報学研究所, コンテンツ科学研究系, 助教 (70804061)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | フォトメトリックステレオ / 深層学習 / 精密計測 / 材質計測 |
|---|
| Outline of Annual Research Achievements |
異なる陰影画像から被写体の表面法線を復元するフォトメトリックステレオ法は、暗室下での厳密な照明環境の制御や事前の光源校正が必要で実応用への障害が非常に高かった。この課題を解決するために、世界初の光源についての知識を必要としないフォトメトリックステレオ法を実現し、これをユニバーサルフォトメトリックステレオ法と名付けた。従来手法では事前に定義された物理照明モデルに則って被写体の表面法線の復元が行われていたが提案手法では、物理モデルの代わりに非物理照明モデルである大域照明コンテクスト (Global Lighting Context)を提案し、これにより表面上の各点において非一様な照明条件の設定を可能にした。また、従来のフォトメトリックステレオは深層学習を用いることによって精度の向上がなされたと同時に、扱える入力画像の解像度の限界が存在した。しかし提案手法では、規定解像度（Canonical Resolution）を定義し、重要で重い処理を入力解像度よりも小さなその解像度でのみ行う事によって計測のスケーラビリティを実現した。
ユニバーサルフォトメトリックステレオは世界で初めて非一様な照明環境下でのフォトメトリックステレオを実現し、フォトメトリックステレオの社会応用へ大きな一歩を与える革新的成果である。また、本研究の成果で特筆すべき点として、ニューラルネットワークの学習に一切実データを利用しなかったという点が挙げられる。これは、合成画像と自然画像の間のドメインギャップのため一般的には好まれない方法であるが、フォトメトリックステレオという特殊な問題設定においては極めて有効であることが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究課題の元々の動機は、正解データの獲得が困難なフォトメトリックステレオにおいて、教師なし学習である対照学習を利用した自然光源下画像での特徴学習を行う事により汎用的な光源環境下でフォトメトリックステレオを実現するというものだった。しかし、研究課題を進めるうちにより適切なアプローチとして、十分に注意して設計された合成データを利用して学習することにより実環境のデータに高い適応を見せるということが見つかり、そこから研究の方向性が大きく変わるとともに申請者の予期しない成果を達成するに至った。特に、物理モデル一切用いずに物理ベースビジョンであるフォトメトリックステレオを解くというのは従来誰一人試みたことが無いアプローチで、それが実際に実現されたことはこの分野を大きく進展させる成果となった。
|
| Strategy for Future Research Activity |
ユニバーサルフォトメトリックステレオは、世界初の汎用的かつ制御不要な光源環境下におけるフォトメトリックステレオ手法であるが、まだ厳密に光源環境を整えたフォトメトリックステレオに比較すると精度の面で不足がある。今後は、さらに精度を改善し、校正済みのフォトメトリックステレオの性能を上回るだけでなく、現在の精密計測の主流であるデプスセンサーや３D顕微鏡等を置き換えることを目標とする。
|
| Causes of Carryover |
残額寡少につき実験機器等を購入する事が困難な額なため、予算を次年度に繰り越した。
|
