2021 Fiscal Year Annual Research Report
Research on Appearance and 3D imaging
| Project/Area Number |
19H01123
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
松下 康之 大阪大学, 情報科学研究科, 教授 (30756507)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
2021年度には，(1)実世界物体を対象とした「質感＋三次元」イメージングの展開，(2) 簡易なイメージングセットアップによる三次元計測技術，及び，(3)360度ステレオカメラを用いた室内の三次元形状，反射率，光源の同時推定，さらに(4)得られた法線から面としての三次元形状（メッシュなど）を復元するための法線の積分について検討を進めた．項目(1)では，開発した深層学習をベースとした法線＋質感推定技術を多用な実物体に適用し，その有効性を確認した．項目(2)では，スマートフォンを用いた簡易なイメージングセットアップについて検証し，屋内・屋外シーンにおける提案手法の三次元計測の有効性を確認した．項目(3)では，360度カメラ2台を用いたステレオヘッドを作成し，室内の三次元形状，反射率，光源の推定を行う深層学習器を提案した．最後に項目(4)では幾何学的なアプローチに基づく法線積分手法を開発し，既存の手法に比して高精度に三次元形状の復元が可能である手法を開発した．これらの結果として，コンピュータビジョン研究のトップジャーナルであるIEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)へ2本，トップ国際会議であるIEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)へ2本，IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)へ2本の論文を発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
2021年度に予定していた項目(1)-(4)が予定通り進行しており，前述のとおり当該分野におけるトップ会議・ジャーナルでの発表を行った．
このように，計画していた内容については順調に進展しており，発展的な項目についても成果が出始めている．例えば，新たに検討を開始した対称光源に基づく照度差ステレオ法では，光源配置を工夫することにより光源の厳密なキャリブレーションを不要とする照度差ステレオ法が可能であることを示した．また，多視点＋照度差ステレオ問題にも取り組み，画像と三次元モデルのレジストレーションの問題にも取り組んだ．この結果として，2次元画像と3次元モダリティの橋渡しをするための新しい三次元マーカーを提案した．これらのように，当初の予定以上の成果がでていることから，当初の計画以上に進展している，とした．
|
| Strategy for Future Research Activity |
2022年度には，2021年度に引き続き，照度差ステレオ法で得られた法線から三次元形状（三次元メッシュ）を生成する技術（法線積分）に関してさらなる検討をすすめる．既存の法線積分技術では，深度境界においても連続性を仮定した積分を用いてきたが，境界において微分が不可能であることから，これがエラーとして現れることが知られていた．この問題を陽に扱い，2022年度には最適な法線積分技術に関する検討をすすめる．また，その結果として深度境界においても正確でロバストな三次元形状復元技術の確立を目指す．
さらに，近接光源下における照度差ステレオへの取り組みを加速させる．具体的には，これまでノンパラメトリックなデプスマップとして表現されてきたシーンの形状を深層学習器を用いた連続な深層表現に置き換えることにより，微分可能な形状の復元を試みる．この微分可能であるという特性によって，法線と奥行きの関連付けが容易になり，近接照度差ステレオのさらなる高度化が期待される．
|
