| Project/Area Number |
22K21293
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
1001:Information science, computer engineering, and related fields
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
石原 慎 国立情報学研究所, コンテンツ科学研究系, 特任研究員 (00966252)
|
|---|
| Project Period (FY) |
2022-08-31 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | コンピュータビジョン / 三次元形状推定 / 反射パラメータ推定 / マルチスペクトル / フォトメトリック / 三次元形状 / 反射特性 / 質感 |
|---|
| Outline of Research at the Start |
物体の質感を記録し再現するためには、物体の三次元形状・表面の分光反射率・反射特性等の情報が不可欠だが、これらを同時に取得することは容易ではない。マルチスペクトル画像を利用する多波長照度差ステレオ（MPS）では物体の三次元形状と表面の分光反射率を同時に計測できるが、前提条件が多く手法毎に適用できる対象が限定される。本研究では光の屈折における波長依存性に着目し、マルチスペクトル画像における仮想的な光源位置を自在に制御できるシステムを構築する。従来のMPSよりも自由度の高いシステムを実現し、従来手法の前提条件の緩和、形状推定の精度向上、および計測が困難な反射特性の同時取得を目指す。
|
| Outline of Annual Research Achievements |
令和５年度の成果として、多波長フォトメトリックステレオによる形状推定のための光源システムを構築し、現実のシーンに対してアルゴリズムが機能することを実証した。提案手法は従来手法とは異なり領域分割などの追加のアルゴリズムを必要とせず、かつ従来手法よりも小さい誤差で対象の表面法線および分光反射率を推定できることを確認した。本成果を論文にまとめ、コンピュータビジョン分野の主要国際会議であるWACV 2023に投稿したが、採択とはならなかった。
主な指摘としては、フォトメトリックステレオによる形状推定に共通の問題ではあるが、非ランバーシアン表面に対する応用可能性が不十分であることが挙げられた。そこで、主に鏡面反射が生じる箇所で推定精度が低下するという問題を改善するため、鏡面反射が生じている可能性が高い波長の観測値を画素ごとに外れ値として検出するアルゴリズムを新たに導入し、表面法線の推定に用いないことで、表面のランバート反射成分のみから高精度な表面法線を推定する手法を開発した。本成果はコンピュータビジョン分野のトップ国際会議であるECCV 2024に投稿し現在査読中である。
令和５年度から現在にかけて、対象の表面反射パラメータの推定を実現するため、照射する光源パターンの作成を進めている。一度のハイパースペクトル画像撮影で複数のパターンを照射した場合に相当する応答を得るため、波長ごとに異なる光源パターンを照射する方法、およびどのようなパターンを照射するかの検討を進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和４年度に検討していた凹面鏡による光源システムの作成を断念し方針を見直したことにより、論文投稿の時期が遅れてしまった。それに伴い、反射パラメータ推定のシステムおよびアルゴリズム開発もやや遅れている。
|
| Strategy for Future Research Activity |
第一に、令和５年度までに達成した他波長フォトメトリックステレオ法による対象の表面法線および分光反射率の推定手法をコンピュータビジョンの主要国際会議にて発表することを当面の目標とする。
第二に、現在進めているパターン照射による反射パラメータ推定手法を確立することを目標とする。
|
