2023 Fiscal Year Research-status Report
カメラ撮像モデルと深層学習の融合－ボケ画像からの距離推定手法における検証
| Project/Area Number |
22K17911
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
藤村 友貴 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (40908729)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | depth from focus / depth from defocus / 深層学習 / カメラパラメータ |
|---|
| Outline of Annual Research Achievements |
カメラパラメータを考慮した，学習ベースとモデルベースを融合したボケ画像からの奥行推定手法について，設計したニューラルネットワークのアーキテクチャの有効性の検証及び投稿していた論文の修正を行なった．加えて，カメラパラメータの制約のためのコストボリュームの計算を並列化処理することによって提案手法の高速化を行なった．
提案手法の有効性の検証については，コストボリュームの計算におけるハイパパラメータの調査，及び学習ベースの従来手法（AiFDepthNet[ICCV2021]，DFV-DFF[CVPR2022]）との比較を行なった．これらの比較から，カメラパラメータを考慮することによって，学習時とテスト時で異なるカメラパラメータにより撮影された画像に対する提案手法の適用可能性を明らかにした．さらに，多くのボケ画像（数十枚）を入力に必要とするモデルベースの手法（VDFF[TPAMI2015]，Ring Difference Filter[CVPR2017]）との比較も行い，提案手法が少数の画像（3枚）からでも奥行推定が可能であることを示した．
前年度から投稿を続けていた論文について，これらの研究過程で得られた成果と新たな議論を加えて修正を行なった．修正した論文はコンピュータビジョン分野のトップジャーナルであるInternational Journal of Computer Vision に採択された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画で目的としていた，カメラパラメータを考慮した学習ベースとモデルベースを融合したボケ画像からの奥行推定手法については，手法の設計及び評価が完了した．また，一連の研究成果はコンピュータビジョン分野のトップジャーナルであるInternational Journal of Computer Vision に採択されており，国際的にもその高い有効性が評価されている．したがって，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
当初の研究計画で目的としていた，カメラパラメータを考慮した学習ベースとモデルベースを融合したボケ画像からの奥行推定手法については手法の設計が完了したが，評価を進める中でカメラパラメータを考慮することによる精度の低下もみられた．加えて，近年深層学習分野では基盤モデルという考え方が主流となってきている中，ボケ画像からの奥行推定には依然基盤モデルとなりうるような精度の高い手法が存在していないことが明らかになった．したがって最終年度では，設計した提案手法の精度向上及び基盤モデル開発のためのデータセット構築とネットワークの設計について研究を進める予定である．
|
| Causes of Carryover |
前年度は計算リソースに問題がなかったため，次年度使用額が生じた．今年度は基盤モデル構築のための計算リソースに使用する予定である．
|
