| Project/Area Number |
22K17911
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
藤村 友貴 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (40908729)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | depth from focus / depth from defocus / 深層学習 / カメラパラメータ / カメラモデル / Depth from Defocus |
|---|
| Outline of Research at the Start |
近年コンピュータビジョンの分野では，深層学種による技術の発展が著しい．その一方で，多くの技術は深層学習をブラックボックス的に扱っているため解釈性や理論的裏付けに乏しい．
本研究課題は，カメラで撮影された画像のボケ具合から被写体までの距離を推定するDepth from Defocus (DfD) を具体的な問題設定とする．本研究は近年の解釈性に乏しい深層学習を用いた手法とは異なり，カメラによるボケ画像の撮像過程を深層学習上に実装するという全く新しいアプローチを取る．解釈性のある設計にすることで，出力された値の解析及びさらなる精度向上が期待できる．
|
| Outline of Annual Research Achievements |
カメラパラメータを考慮した，学習ベースとモデルベースを融合したボケ画像からの奥行推定手法について，設計したニューラルネットワークのアーキテクチャの有効性の検証及び投稿していた論文の修正を行なった．加えて，カメラパラメータの制約のためのコストボリュームの計算を並列化処理することによって提案手法の高速化を行なった．
提案手法の有効性の検証については，コストボリュームの計算におけるハイパパラメータの調査，及び学習ベースの従来手法（AiFDepthNet[ICCV2021]，DFV-DFF[CVPR2022]）との比較を行なった．これらの比較から，カメラパラメータを考慮することによって，学習時とテスト時で異なるカメラパラメータにより撮影された画像に対する提案手法の適用可能性を明らかにした．さらに，多くのボケ画像（数十枚）を入力に必要とするモデルベースの手法（VDFF[TPAMI2015]，Ring Difference Filter[CVPR2017]）との比較も行い，提案手法が少数の画像（3枚）からでも奥行推定が可能であることを示した．
前年度から投稿を続けていた論文について，これらの研究過程で得られた成果と新たな議論を加えて修正を行なった．修正した論文はコンピュータビジョン分野のトップジャーナルであるInternational Journal of Computer Vision に採択された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画で目的としていた，カメラパラメータを考慮した学習ベースとモデルベースを融合したボケ画像からの奥行推定手法については，手法の設計及び評価が完了した．また，一連の研究成果はコンピュータビジョン分野のトップジャーナルであるInternational Journal of Computer Vision に採択されており，国際的にもその高い有効性が評価されている．したがって，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
当初の研究計画で目的としていた，カメラパラメータを考慮した学習ベースとモデルベースを融合したボケ画像からの奥行推定手法については手法の設計が完了したが，評価を進める中でカメラパラメータを考慮することによる精度の低下もみられた．加えて，近年深層学習分野では基盤モデルという考え方が主流となってきている中，ボケ画像からの奥行推定には依然基盤モデルとなりうるような精度の高い手法が存在していないことが明らかになった．したがって最終年度では，設計した提案手法の精度向上及び基盤モデル開発のためのデータセット構築とネットワークの設計について研究を進める予定である．
|
