2019 Fiscal Year Annual Research Report
High-fidelity 3D reconstruction based on physics-based modeling
| Project/Area Number |
19J10326
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
山藤 浩明 大阪大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2019-04-25 – 2021-03-31
|
| Keywords | 照度差ステレオ / 3次元形状復元 / コンピュータビジョン / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本年度は，光を用いた高精細な3次元形状復元システムを実現するために，下記の2つの観点から研究を推進した．本研究ではとくに，固定されたカメラと複数の光源を用いて，光源環境を変化させながら撮影した複数枚の画像から物体形状を推定する，照度差ステレオ法を用いる．
(1)照度差ステレオ法を用いて高精度な推定を行う上で重要な要素技術である，光源のキャリブレージョンに関する研究を推進した．本研究では，従来必要だった形状が既知のキャリブレーションターゲットを用いない，簡便で高精度なキャリブレーション手法を提案した．本研究成果は著名な国際論文誌であるInternational Journal of Computer Vision (Five year impact factor: 12.4)に投稿し，採録決定済みである．
(2)既存の多くの照度差ステレオ法では，対象物体を撮影する光源環境に関して，点光源が無限遠に存在し，対象物体は平行光線をうける，と仮定してきた．しかし，実環境において無限遠光源を実現することは不可能であり，高精度な推定の実現には，近接点光源による影響を考慮することが重要である．本年度はこの観点から，これまでの研究において提案してきた深層学習を用いた(無限遠光源を仮定する)照度差ステレオ法の，近接光源環境への拡張を行った．結果として，従来の近接光源を仮定した照度差ステレオ法では扱うことが困難であった様々な反射特性を持つ材質の物体に対して，高精度な推定が可能な手法を提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
照度差ステレオ法において重要な要素技術である，光源のキャリブレーションに関する研究については，簡便で高精度な手法を提案し，その研究成果は著名な国際論文誌であるInternational Journal of Computer Visionに採録決定済みである．また，高精細な3次元形状推定を実現するために，近接光源環境に着目した手法を提案した．本研究成果は国際会議に投稿し，現在査読中である．
以上の成果から，当初計画以上に進展している，と評価する．
|
| Strategy for Future Research Activity |
本年度の研究において提案したフレームワークを基礎に，事前の光源のキャリブレーションを必要としない未校正照度差ステレオなど，より実用的な照度差ステレオへの拡張を目指す．また，研究計画の通り，手法を評価するためのデータセット作成にも取り組む．このために，撮影装置の設計と実装，また真値データの獲得手法の確立などを行う予定である．
|
