光分散を利用した仮想多方向光源による物体表面の三次元形状及び反射特性の推定

2023 Fiscal Year Research-status Report

• Project/Area Number: 22K21293
• Research Institution: National Institute of Informatics
• Principal Investigator: 石原 慎 国立情報学研究所, コンテンツ科学研究系, 特任研究員 (00966252)
• Project Period (FY): 2022-08-31 – 2025-03-31
• Keywords: コンピュータビジョン

Outline of Annual Research Achievements

令和５年度の成果として、多波長フォトメトリックステレオによる形状推定のための光源システムを構築し、現実のシーンに対してアルゴリズムが機能することを実証した。提案手法は従来手法とは異なり領域分割などの追加のアルゴリズムを必要とせず、かつ従来手法よりも小さい誤差で対象の表面法線および分光反射率を推定できることを確認した。本成果を論文にまとめ、コンピュータビジョン分野の主要国際会議であるWACV 2023に投稿したが、採択とはならなかった。
主な指摘としては、フォトメトリックステレオによる形状推定に共通の問題ではあるが、非ランバーシアン表面に対する応用可能性が不十分であることが挙げられた。そこで、主に鏡面反射が生じる箇所で推定精度が低下するという問題を改善するため、鏡面反射が生じている可能性が高い波長の観測値を画素ごとに外れ値として検出するアルゴリズムを新たに導入し、表面法線の推定に用いないことで、表面のランバート反射成分のみから高精度な表面法線を推定する手法を開発した。本成果はコンピュータビジョン分野のトップ国際会議であるECCV 2024に投稿し現在査読中である。
令和５年度から現在にかけて、対象の表面反射パラメータの推定を実現するため、照射する光源パターンの作成を進めている。一度のハイパースペクトル画像撮影で複数のパターンを照射した場合に相当する応答を得るため、波長ごとに異なる光源パターンを照射する方法、およびどのようなパターンを照射するかの検討を進めている。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

令和４年度に検討していた凹面鏡による光源システムの作成を断念し方針を見直したことにより、論文投稿の時期が遅れてしまった。それに伴い、反射パラメータ推定のシステムおよびアルゴリズム開発もやや遅れている。

Strategy for Future Research Activity

第一に、令和５年度までに達成した他波長フォトメトリックステレオ法による対象の表面法線および分光反射率の推定手法をコンピュータビジョンの主要国際会議にて発表することを当面の目標とする。
第二に、現在進めているパターン照射による反射パラメータ推定手法を確立することを目標とする。

Causes of Carryover

第一に、反射パラメータ推定のための光源システムの構築が遅れており、令和６年度にも設計を行うことが理由として挙げられる。
第二に、現在投稿中の論文が採択された場合、発表のための学会参加にかかる旅費が必要となることが理由として挙げられる。コロナ前と比較して移動費や宿泊費が大幅に増加しており、申請時よりも大きな割合の予算が旅費として必要になっている。