2023 Fiscal Year Research-status Report
カラー構造化光パターン設計に基づくワンショット分光3D計測
| Project/Area Number |
21K17762
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
紋野 雄介 東京工業大学, 工学院, 特任准教授 (10744477)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 3次元復元 / マルチスペクトルイメージング / デプス推定 / 分光反射率推定 / プロジェクターカメラシステム |
|---|
| Outline of Annual Research Achievements |
本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状(デプス)と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D計測システムの開発を目的としている。
研究計画3年目である2023年度は、2022年度から継続して、開発システムを自己教師あり学習により学習させる手法の開発を実施した。また、プロジェクタにより投影する投影光の分光強度を最適化する手法の開発を実施した。自己教師あり学習手法の開発では、従来の真値を用いた学習ロスの代わりとして、フォトメトリックロスを導入した。フォトメトリックロスは、開発システムの画像生成モデルに基づきネットワークモデルから推定される撮影画像と実際の撮影画像との間の差を最小化するロス関数である。これにより、真値となる分光反射率とデプスを必要とせず、開発システムで撮影した実画像のみを用いて自己教師あり学習を行う手法を提案した。これまでの合成学習データを用いて教師あり学習したネットワークモデルを、実画像を用いた自己教師あり学習によりファインチューニングすることで、実シーンに対してより精度良く推定可能であることを確認した。投影光の分光強度最適化では、分光強度をネットワークモデルとして構築し学習により最適化する手法を提案した。ネットワーク初期値に対する依存性が見られるものの、適切な初期値を設定できた場合には最適化により一定の効果が見られる事を確認した。
これらの内容をまとめ、学術論文誌への投稿を予定している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画にあるカラードットパターン投影に基づくシステムの開発に成功し、関連する国際会議および国内会議にて発表している。2023年度に実施した自己教師あり学習手法の開発およ分光強度最適化についても実験により一定の効果を確認しており、実験結果をより精緻なものにした後に学術論文誌への投稿を予定している。これらから、計画はおおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
今後は、現在取り組んでいる自己教師あり学習手法の開発および投影光の分光強度最適化に対して、実験結果をより精緻にするため、新しいデータセットや実シーンでの効果検証を実施する。これらのため、新しい評価用データセットの作成、より高精度なデータ取得が可能なシステムセットアップの構築を検討する。
|
| Causes of Carryover |
独自開発した画像シミュレータによる合成画像データ生成および真値データを必要としない自己教師あり学習手法の開発により、当初想定していた実シーンでの大規模学習用データ取得の必要性が無くなり、比較的小規模なデータでの検証実験が可能となった。これにより、大規模学習データ取得のための撮影機材購入費、撮影補助人件費や大規模データ処理に用いる計算機等の購入の必要性が無くなった。次年度は、実験結果をより精緻にするため、より大規模なネットワーク構造およびパラメータ数を用いたシステムを構築するため、学習に必要なGPU計算機資源の購入を予定している。また、実シーン評価用の追加データ撮影および開発手法の高精度化のため、より高精度なプロジェクタ－カメラシステムの構築を予定している。関連する国内学会および国際学会への現地参加も予定している。
|
