2017 Fiscal Year Annual Research Report
形状・照明・反射率を含めた環境全体の高精細３次元復元
| Project/Area Number |
17H00744
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
奥富 正敏 東京工業大学, 工学院, 教授 (00262303)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡部 孝弘 九州工業大学, 大学院情報工学研究院, 教授 (00396904)
鳥居 秋彦 東京工業大学, 工学院, 助教 (20585179)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，異なる時刻・視点で撮影された画像から，カメラ・物体の３次元幾何情報とともに，撮影時の光源分布と物体の表面反射率の推定を行うMulti-View Inverse Rendering (MVIR)を格段に発展させることにある．H29年度は，プロジェクトの初年度として主に「スケーラブルMVIR」，「フォト・ジオメトリックバンドル調整」に関する研究を行った．
「スケーラブル MVIR」では，アルゴリズム，数値計算手法の検討及び開発を進めた．MVIRで解くべき最適化問題は必然的に大規模非線形最適化問題となり，これまでに提案したMVIR手法の枠組みでは，処理可能な画像枚数，サイズに限界がある．したがって，メモリ及び計算効率の良いアルゴリズムの開発は不可欠である．スケーラブルMVIRでは本課題について取り組み，coarse-to-fineアプローチによる計算効率の良いアルゴリズムを開発，実装した．これまでのMVIRと同等の精度の環境復元を行いながらも高速化を実現出来ることを実験を通して確認し，現在成果をまとめ，投稿準備中である．
「フォト・ジオメトリックバンドル調整」では，理論的背景を整理したうえで，アルゴリズムの検討，開発を行った．これまでのMVIRでは，カメラの位置と向きは既知であるものとして最適化の対象として扱っていなかった．予備実験を通して，高精度な環境復元を行う上では，カメラ位置と向きの高精度推定も行う必要があると判断し，カメラ位置と向きの推定を含めたコスト関数を設計，実装を行った．現在，復元結果の精度評価中であり，成果がまとまり次第，国際会議等へ投稿予定である．また，並行して，MVIRに有効な3Dモデル（形状）を取得するための撮影システムを開発，国際会議で発表した．このシステムでは，プロジェクタカメラシステムとSfM（画像からの形状復元）を融合したものであり，その実用性が高く評価され受賞に至っている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究プロジェクト1年目として，主に2つのテーマについて研究を進めた．「スケーラブルMVIR」については，アルゴリズムの開発，実装が進み，性能評価の段階にある．「フォト・ジオメトリックバンドル調整」に関しては，一部の成果を，国際会議，学会発表で発表している．研究に必要な計算機環境等の整備も順調に進み，研究は順調におおむね進んでいると評価できる．
|
| Strategy for Future Research Activity |
平成30年度は，「スケーラブルMVIR」「フォト・ジオメトリックバンドル調整」については，アルゴリズム開発，実装等，順調に進んでいるため今後も継続し完成度を高める．新たに開始予定のテーマ「光源モデルの拡張」についても，すでに予備調査を進めており，当初の計画通りに研究を開始する予定である．
|
