カラー構造化光パターン設計に基づくワンショット分光3D計測
| Project/Area Number |
21K17762
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
紋野 雄介 東京工業大学, 工学院, 助教 (10744477)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 3次元復元 / マルチスペクトルイメージング / デプス推定 / 分光反射率推定 / プロジェクターカメラシステム / ３次元復元 / コンピュータビジョン / 画像処理 / ３次元計測 / 分光計測 |
|---|
| Outline of Research at the Start |
本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D計測システムを開発する。開発システムでは、プロジェクタによりカラー構造化光パターンを投影した対象物体をカメラで撮影することにより、3D 計測のために必要なコードパターンと、分光計測のために必要なマルチスペクトル観測データを一度に取得し、得られたワンショットデータから物体の3D形状と分光反射率を推定する。高精度なワンショット計測の実現のため、深層学習に基づく分光3D計測フレームワークを提案し、その有効性の検証およびシステムの精度評価を実施する。
|
| Outline of Annual Research Achievements |
本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状(デプス)と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。
研究計画2年目である2022年度は、初年度に開発したベースとなるシステムを拡張し、自己教師あり学習により学習させる手法の検討を実施した。初年度の学習手法では、独自開発した画像生成シミュレーターにより合成したデータを用いることで、効率の良い学習データ生成を実現した。一方で、実世界で安定かつ高精度にシステムを機能させるためには、シミュレーター上の仮想システム・仮想物体と、実システム・実物体の間のギャップに対応する必要がある。それを回避するためには、実システムで撮影した画像と共に真値となる分光反射率とデプスが付随する学習データを大量に取得して学習させることが理想的であるが、データ取得にかかる労力の面から容易ではない。そこで、真値となる分光反射率とデプスを必要とせず、実システムで撮影した画像のみを用いた自己教師あり学習手法の提案を行い、その効果検証をシミュレーションおよび実実験の両面から実施中である。
開発したベースシステムについては、2022年6月開催のコンピュータビジョンのトップ国際会議であるCVPR2022で発表した。また、2023年6月開催の画像センシングシンポジウム(SSII2023)でも発表予定である。現在取り組んでいる拡張内容については、十分な効果が得られ次第、学術論文誌への投稿を予定している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り、既存のコードパターン投影に基づくシステムの開発に成功し、コンピュータビジョンのトップ国際会議であるCVPR2022で発表した。このシステムをベースとした自己教師あり学習手法の検討も進展しており、効果検証の後に学術論文誌への投稿を予定している。これらから、計画はおおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
今後は、まず、現在取り組んでいる自己教師あり学習手法の効果検証を実施する。その後、研究計画のフェーズⅡとして、プロジェクタにより投影するコードパターンやカメラ分光感度の学習を含めた、システム全体の最適化フレームワークを開発することで、現システムの改善を図る。また、実シーンでの評価を充実させるため、実シーン評価データセットの作成や、より高精度なデータ取得が可能なシステムセットアップの構築を検討する。
|
Report
(2 results)
Research Products
(8 results)
