| 研究課題/領域番号 |
21K17762
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
紋野 雄介 東京工業大学, 工学院, 助教 (10744477)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2022年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
|
|---|
| キーワード | 3次元復元 / マルチスペクトルイメージング / デプス推定 / 分光反射率推定 / プロジェクターカメラシステム / ３次元復元 / コンピュータビジョン / 画像処理 / ３次元計測 / 分光計測 |
|---|
| 研究開始時の研究の概要 |
本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D計測システムを開発する。開発システムでは、プロジェクタによりカラー構造化光パターンを投影した対象物体をカメラで撮影することにより、3D 計測のために必要なコードパターンと、分光計測のために必要なマルチスペクトル観測データを一度に取得し、得られたワンショットデータから物体の3D形状と分光反射率を推定する。高精度なワンショット計測の実現のため、深層学習に基づく分光3D計測フレームワークを提案し、その有効性の検証およびシステムの精度評価を実施する。
|
| 研究実績の概要 |
本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状(デプス)と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。
研究計画2年目である2022年度は、初年度に開発したベースとなるシステムを拡張し、自己教師あり学習により学習させる手法の検討を実施した。初年度の学習手法では、独自開発した画像生成シミュレーターにより合成したデータを用いることで、効率の良い学習データ生成を実現した。一方で、実世界で安定かつ高精度にシステムを機能させるためには、シミュレーター上の仮想システム・仮想物体と、実システム・実物体の間のギャップに対応する必要がある。それを回避するためには、実システムで撮影した画像と共に真値となる分光反射率とデプスが付随する学習データを大量に取得して学習させることが理想的であるが、データ取得にかかる労力の面から容易ではない。そこで、真値となる分光反射率とデプスを必要とせず、実システムで撮影した画像のみを用いた自己教師あり学習手法の提案を行い、その効果検証をシミュレーションおよび実実験の両面から実施中である。
開発したベースシステムについては、2022年6月開催のコンピュータビジョンのトップ国際会議であるCVPR2022で発表した。また、2023年6月開催の画像センシングシンポジウム(SSII2023)でも発表予定である。現在取り組んでいる拡張内容については、十分な効果が得られ次第、学術論文誌への投稿を予定している。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の計画通り、既存のコードパターン投影に基づくシステムの開発に成功し、コンピュータビジョンのトップ国際会議であるCVPR2022で発表した。このシステムをベースとした自己教師あり学習手法の検討も進展しており、効果検証の後に学術論文誌への投稿を予定している。これらから、計画はおおむね順調に進展しているといえる。
|
| 今後の研究の推進方策 |
今後は、まず、現在取り組んでいる自己教師あり学習手法の効果検証を実施する。その後、研究計画のフェーズⅡとして、プロジェクタにより投影するコードパターンやカメラ分光感度の学習を含めた、システム全体の最適化フレームワークを開発することで、現システムの改善を図る。また、実シーンでの評価を充実させるため、実シーン評価データセットの作成や、より高精度なデータ取得が可能なシステムセットアップの構築を検討する。
|
