| Project/Area Number |
21K17762
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
紋野 雄介 東京工業大学, 工学院, 特任准教授 (10744477)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 3次元復元 / マルチスペクトルイメージング / デプス推定 / 分光反射率推定 / プロジェクターカメラシステム / ３次元復元 / コンピュータビジョン / 画像処理 / ３次元計測 / 分光計測 |
|---|
| Outline of Research at the Start |
本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D計測システムを開発する。開発システムでは、プロジェクタによりカラー構造化光パターンを投影した対象物体をカメラで撮影することにより、3D 計測のために必要なコードパターンと、分光計測のために必要なマルチスペクトル観測データを一度に取得し、得られたワンショットデータから物体の3D形状と分光反射率を推定する。高精度なワンショット計測の実現のため、深層学習に基づく分光3D計測フレームワークを提案し、その有効性の検証およびシステムの精度評価を実施する。
|
| Outline of Annual Research Achievements |
本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状(デプス)と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D計測システムの開発を目的としている。
研究計画3年目である2023年度は、2022年度から継続して、開発システムを自己教師あり学習により学習させる手法の開発を実施した。また、プロジェクタにより投影する投影光の分光強度を最適化する手法の開発を実施した。自己教師あり学習手法の開発では、従来の真値を用いた学習ロスの代わりとして、フォトメトリックロスを導入した。フォトメトリックロスは、開発システムの画像生成モデルに基づきネットワークモデルから推定される撮影画像と実際の撮影画像との間の差を最小化するロス関数である。これにより、真値となる分光反射率とデプスを必要とせず、開発システムで撮影した実画像のみを用いて自己教師あり学習を行う手法を提案した。これまでの合成学習データを用いて教師あり学習したネットワークモデルを、実画像を用いた自己教師あり学習によりファインチューニングすることで、実シーンに対してより精度良く推定可能であることを確認した。投影光の分光強度最適化では、分光強度をネットワークモデルとして構築し学習により最適化する手法を提案した。ネットワーク初期値に対する依存性が見られるものの、適切な初期値を設定できた場合には最適化により一定の効果が見られる事を確認した。
これらの内容をまとめ、学術論文誌への投稿を予定している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画にあるカラードットパターン投影に基づくシステムの開発に成功し、関連する国際会議および国内会議にて発表している。2023年度に実施した自己教師あり学習手法の開発およ分光強度最適化についても実験により一定の効果を確認しており、実験結果をより精緻なものにした後に学術論文誌への投稿を予定している。これらから、計画はおおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
今後は、現在取り組んでいる自己教師あり学習手法の開発および投影光の分光強度最適化に対して、実験結果をより精緻にするため、新しいデータセットや実シーンでの効果検証を実施する。これらのため、新しい評価用データセットの作成、より高精度なデータ取得が可能なシステムセットアップの構築を検討する。
|
