Physics-based vision under uncontrolled illumination environmnent based on contrastive feature disentanglement
| Project/Area Number |
22K17919
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
池畑 諭 国立情報学研究所, コンテンツ科学研究系, 助教 (70804061)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | フォトメトリックステレオ / 深層学習 / 精密計測 / 材質計測 / 物理ベースビジョン / 対照学習 |
|---|
| Outline of Research at the Start |
物理ベースビジョンは，光学的見地に基づき，画像から形状，材質，光源環境等の物理的特性を復元し，文化財解析や医療画像処理等に応用するコンピュータビジョンの一分野である．明示的に光学的画像生成モデルを仮定する古典的逆レンダリング法は，大域的二次反射や光源分布が複雑な自然光源等の物理モデル化困難な光学現象に対して適用困難である。．そこで本研究では，大量のラベル無し画像に基づく対照学習により光源環境や問題設定に依存しない汎用的な物理知識を獲得し，目的のドメインに応じた少数の真値データに適応する事により，物理ベースビジョンにおける撮影環境の制限を緩和することを目指す．
|
| Outline of Annual Research Achievements |
異なる陰影画像から被写体の表面法線を復元するフォトメトリックステレオ法は、暗室下での厳密な照明環境の制御や事前の光源校正が必要で実応用への障害が非常に高かった。この課題を解決するために、世界初の光源についての知識を必要としないフォトメトリックステレオ法を実現し、これをユニバーサルフォトメトリックステレオ法と名付けた。従来手法では事前に定義された物理照明モデルに則って被写体の表面法線の復元が行われていたが提案手法では、物理モデルの代わりに非物理照明モデルである大域照明コンテクスト (Global Lighting Context)を提案し、これにより表面上の各点において非一様な照明条件の設定を可能にした。また、従来のフォトメトリックステレオは深層学習を用いることによって精度の向上がなされたと同時に、扱える入力画像の解像度の限界が存在した。しかし提案手法では、規定解像度（Canonical Resolution）を定義し、重要で重い処理を入力解像度よりも小さなその解像度でのみ行う事によって計測のスケーラビリティを実現した。
ユニバーサルフォトメトリックステレオは世界で初めて非一様な照明環境下でのフォトメトリックステレオを実現し、フォトメトリックステレオの社会応用へ大きな一歩を与える革新的成果である。また、本研究の成果で特筆すべき点として、ニューラルネットワークの学習に一切実データを利用しなかったという点が挙げられる。これは、合成画像と自然画像の間のドメインギャップのため一般的には好まれない方法であるが、フォトメトリックステレオという特殊な問題設定においては極めて有効であることが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究課題の元々の動機は、正解データの獲得が困難なフォトメトリックステレオにおいて、教師なし学習である対照学習を利用した自然光源下画像での特徴学習を行う事により汎用的な光源環境下でフォトメトリックステレオを実現するというものだった。しかし、研究課題を進めるうちにより適切なアプローチとして、十分に注意して設計された合成データを利用して学習することにより実環境のデータに高い適応を見せるということが見つかり、そこから研究の方向性が大きく変わるとともに申請者の予期しない成果を達成するに至った。特に、物理モデル一切用いずに物理ベースビジョンであるフォトメトリックステレオを解くというのは従来誰一人試みたことが無いアプローチで、それが実際に実現されたことはこの分野を大きく進展させる成果となった。
|
| Strategy for Future Research Activity |
ユニバーサルフォトメトリックステレオは、世界初の汎用的かつ制御不要な光源環境下におけるフォトメトリックステレオ手法であるが、まだ厳密に光源環境を整えたフォトメトリックステレオに比較すると精度の面で不足がある。今後は、さらに精度を改善し、校正済みのフォトメトリックステレオの性能を上回るだけでなく、現在の精密計測の主流であるデプスセンサーや３D顕微鏡等を置き換えることを目標とする。
|
Report
(1 results)
Research Products
(4 results)
