2022 Fiscal Year Research-status Report
カラー構造化光パターン設計に基づくワンショット分光3D計測
| Project/Area Number |
21K17762
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
紋野 雄介 東京工業大学, 工学院, 助教 (10744477)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 3次元復元 / マルチスペクトルイメージング / デプス推定 / 分光反射率推定 / プロジェクターカメラシステム |
|---|
| Outline of Annual Research Achievements |
本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状(デプス)と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。
研究計画2年目である2022年度は、初年度に開発したベースとなるシステムを拡張し、自己教師あり学習により学習させる手法の検討を実施した。初年度の学習手法では、独自開発した画像生成シミュレーターにより合成したデータを用いることで、効率の良い学習データ生成を実現した。一方で、実世界で安定かつ高精度にシステムを機能させるためには、シミュレーター上の仮想システム・仮想物体と、実システム・実物体の間のギャップに対応する必要がある。それを回避するためには、実システムで撮影した画像と共に真値となる分光反射率とデプスが付随する学習データを大量に取得して学習させることが理想的であるが、データ取得にかかる労力の面から容易ではない。そこで、真値となる分光反射率とデプスを必要とせず、実システムで撮影した画像のみを用いた自己教師あり学習手法の提案を行い、その効果検証をシミュレーションおよび実実験の両面から実施中である。
開発したベースシステムについては、2022年6月開催のコンピュータビジョンのトップ国際会議であるCVPR2022で発表した。また、2023年6月開催の画像センシングシンポジウム(SSII2023)でも発表予定である。現在取り組んでいる拡張内容については、十分な効果が得られ次第、学術論文誌への投稿を予定している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り、既存のコードパターン投影に基づくシステムの開発に成功し、コンピュータビジョンのトップ国際会議であるCVPR2022で発表した。このシステムをベースとした自己教師あり学習手法の検討も進展しており、効果検証の後に学術論文誌への投稿を予定している。これらから、計画はおおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
今後は、まず、現在取り組んでいる自己教師あり学習手法の効果検証を実施する。その後、研究計画のフェーズⅡとして、プロジェクタにより投影するコードパターンやカメラ分光感度の学習を含めた、システム全体の最適化フレームワークを開発することで、現システムの改善を図る。また、実シーンでの評価を充実させるため、実シーン評価データセットの作成や、より高精度なデータ取得が可能なシステムセットアップの構築を検討する。
|
| Causes of Carryover |
当初の計画では、実シーンで学習用の真値データを取得することを想定していたものの、労力の面から容易ではないことが判明した。そのため、実シーンでの真値データ取得を必要としない、自己教師あり学習手法の理論的検討を行い、比較的小規模なテストにより効果検証を実施した。これらにより、実シーンでの大規模学習データ取得のための撮影機材購入費・撮影補助人件費や、大規模実験に必要なGPU計算機等の購入の必要性が無くなった。また、コロナ禍によるオンライン参加のため、学会参加費・旅費の必要性が無くなった。
次年度は、研究計画のフェーズⅡとして、コードパターンやカメラ分光感度最適化も含めたより大規模なネットワーク構造を構築するため、学習に必要なGPU計算機資源の購入を予定している。また、実シーン評価用のデータ撮影および開発手法の高精度化のため、より高精度なプロジェクタ－カメラシステムを構築する予定である。国内学会および国際学会への現地参加も予定している。
|
Research Products
(5 results)
