2020 Fiscal Year Annual Research Report
Research on Appearance and 3D imaging
| Project/Area Number |
19H01123
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
松下 康之 大阪大学, 情報科学研究科, 教授 (30756507)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
2020年度には，(1)実用的な三次元イメージングセットアップと(2)機械学習による法線と双方向反射率分布関数(Bidirectional Reflectance Distribution Function, 以下BRDF)の同時推定の2項目に注力した．項目(1)に関しては，高精細な三次元形状を得るための最小限のイメージングセットアップを検討し，二眼ステレオカメラと単一のLEDのみによる撮像系でこれを実現する方式について実装と検証を進めた．実装した試作機での実験では，自然な環境光下でも提案する撮像系によって高精細な三次元形状の復元が可能であることが確認できた．項目(2)に関しては，当該グループで開発した深層学習を用いた照度差ステレオ法技術（Deep photometric stereo networks）をさらに発展させ，法線のみでなくBRDFを同時推定する深層学習器を設計した．実世界の被写体を用いた実験により，その有効性が確認できた．
また，項目(3)として，2019年度に作成したBRDFデータベースを用いて，大規模なルックアップテーブルを用い，法線を離散化するアイデアを導入することで，探索に基づく照度差ステレオ法を設計し，その効果について検証を行った．さらに項目(4)として，深層学習に基づく照度差ステレオ法で具体的に「何」が学習されているのかについて実験的な解析を進め，定性的な解釈を得た．以上のように，研究実施計画は予定通り進行していると同時に，当初想定していなかった項目(4)に関する結果も得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
2020年度に予定していた(1)実用的な三次元イメージングセットアップと(2)機械学習による法線とBRDFの同時推定が予定通り進行している．それぞれに関して，当該分野におけるトップ会議・ジャーナルでの発表を行った（項目(1) Stereoscopic flash and no-flash photography for shape and albedo recovery (CVPR 2020) 項目(2) Deep near-light photometric stereo for spatially varying reflectances (ECCV 2020)，Deep Photometric Stereo Networks for Determining Surface Normal and Reflectances (TPAMI 2020)）．
また，2019年度に作成したBRDFデータベースの応用として，研究成果を発表した（項目(3) Photometric stereo via discrete hypothesis-and-test search (CVPR 2020)）．
さらに，当初予定していなかった深層学習に基づく照度差ステレオの理解を進め，この研究成果を発表した（項目(4) What is learned in deep uncalibrated photometric stereo? (ECCV 2020)）．
このように，計画していた内容については順調に進展しており，発展的な項目についても成果が出始めている．以上のことから，当初の計画以上に進展している，とした．
|
| Strategy for Future Research Activity |
2021年度には，照度差ステレオ法で得られた法線から三次元形状（三次元メッシュ）を生成する技術（法線積分）に関して検討をすすめる．既存の法線積分技術は微分方程式を軸とし変分法に基づくエネルギー最小化として定式化されてきた．一方でその最適生(optimality)に関しては疑問が残っており，2021年度には最適な法線積分技術に関する検討をすすめる．また，その結果としてノイズにロバストな三次元形状復元技術の確立を目指す．
さらに，照度差ステレオを動物体へ適用するためのマルチスペクトル照度差ステレオ法に関する技術的な進展を目指す．これが実現すれば，光の波長方向のマルチプレキシングにより1ショットでの三次元形状復元が可能となる．これまでのマルチスペクトル照度差ステレオ法は，表面が一様なアルベドで構成されていることが前提となっていたが，実世界物体への適用を鑑み，この仮定を取り除くことを検討する．
|
