2021 Fiscal Year Research-status Report
カラー構造化光パターン設計に基づくワンショット分光3D計測
| Project/Area Number |
21K17762
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
紋野 雄介 東京工業大学, 工学院, 助教 (10744477)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ３次元復元 / マルチスペクトルイメージング / デプス推定 / 分光反射率推定 / プロジェクターカメラシステム |
|---|
| Outline of Annual Research Achievements |
本研究では、汎用のプロジェクタとカメラを用いて、物体3D 形状（デプス）と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。
初年度である2021年度は、研究計画のフェーズⅠとして、既存のカラーコードパターン投影に基づくネットワーク構築を実施した。また、ネットワーク学習用のデータ生成のため、物体形状および物体分光反射率を任意に設定し、実際のプロジェクタ－カメラシステムで撮影した画像をシミュレーション可能な、画像生成シミュレーターを開発した。
ネットワーク構築においては、RGBランダムドットパターンを投影して撮影したワンショット画像を入力として、デプス画像と分光反射率画像を同時推定するネットワーク構造を提案した。デプス画像推定においては、構造化光3次元復元の原理に基づき、プロジェクタ－カメラ間のドットパターンマッチングによりデプス画像を推定する。分光反射率画像推定においては、マルチスペクトルイメージングの原理に基づき、RGBの３つのプロジェクタ光源スペクトルおよびRGBの３つのカメラ分光感度の組み合わせによる９バンド情報から、分光反射率画像を推定する。これらの原理をロス関数として組み込み、ネットワークを実装した。
画像生成シミュレーター開発においては、3D空間上に任意の物体を配置し、実際のシステムで撮影した画像をシミュレーション可能なツールを開発した。物体形状として既存の物体形状データベース、物体分光反射率として既存の分光反射率データベースをそれぞれ活用し、これらの任意の組み合わせにより必要な規模の学習データを生成した。
生成したデータに基づき学習したネットワークを、テスト用のシミュレーションおよび実データで評価し、有効性を確認した。これらの成果は、コンピュータビジョンのトップ国際会議であるCVPRで発表予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の計画では、2021年度は、分光反射率推定部のみをネットワーク実装する予定であったが、デプス推定部と分光反射率推定部を同時にネットワーク実装可能な構造を開発することができた。また、画像生成シミュレーターの開発により、効率的な学習データ生成が可能となり、シミュレーションでの検討・評価が計画以上に進展した。これまでの成果をまとめた論文は、コンピュータビジョンのトップ国際会議であるCVPR2022に採択されるに至っている。これらから、研究が当初の計画以上に進展しているといえる。
|
| Strategy for Future Research Activity |
今後は、研究計画のフェーズⅠからⅡへの移行段階として、プロジェクタにより投影するコードパターンの学習・最適化について検討を実施する。コードパターン生成部をネットワークに組み込み、コードパターン生成部・デプス推定部・分光反射率推定部を同時に学習可能な構造を模索する。また、実シーンでの評価を充実させるため、実シーン評価データセットの作成や、より高精度なデータ取得が可能なシステムセットアップの構築を検討する。
|
| Causes of Carryover |
研究の進展に伴い、本年度に実施した研究計画フェーズⅠの段階では、当初想定より小規模なネットワーク構造が実現可能であることが判明した。これにより、学習に必要なGPUを既存の計算資源で賄える事が判明し、GPU計算機購入の必要性が無くなった。また、学習データシミュレーションツールの開発に成功したことにより、当初予定していた、実シーンでの大規模学習データ撮影の必要性が無くなり、撮影機材購入費・撮影補助人件費等の必要性が無くなった。コロナ禍により、学会参加費・旅費の必要性が無くなった。
次年度は、研究計画フェーズⅠからフェーズⅡへの移行段階に伴い、コードパターン設計部も含めたより大規模なネットワーク構造を構築するため、学習に必要なGPU計算機資源の購入を予定している。また、実シーン評価用のデータ撮影および開発手法の高精度化のため、より高精度なプロジェクタ－カメラシステムを構築する予定である。国内学会および国際学会への参加も予定している。
|
