カメラ撮像モデルと深層学習の融合－ボケ画像からの距離推定手法における検証

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K17911
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 藤村 友貴 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (40908729)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 深層学習 / depth from defocus / カメラモデル

Outline of Annual Research Achievements

本研究課題はカメラモデルと深層学習技術を融合させることで，解釈可能な深層学習技術及びその精度向上を目的とする．特に，ボケ画像からのdepth推定（depth from defocus）を題材とし，その有効性を検証するものである．
本年度ではまず最初に，深層学習を用いたdepth from defocusについて，従来手法の問題点を明らかにした．従来の深層学習を用いたdepth from defocusでは，フォーカルスタックと呼ばれるフォーカスを変えて撮影した複数枚の画像を直接ネットワークに入力する．しかしながら，撮影時に用いたカメラのフォーカスや焦点距離といったカメラパラメータをまったくモデル化していないため，テスト時は学習時と同じカメラパラメータで撮影された画像でないとdepth推定に失敗してしまう．
本年度ではこの問題に対し，ネットワークの入力層にカメラモデルを融合する手法について研究を行った．提案手法では撮影に用いたカメラパラメータからボケの大きさを計算し，ウィーナー・フィルタを用いて入力画像にボケの大きさに相当するカーネルの逆畳み込みを行い，コストボリュームと呼ばれる中間表現に落とし込む．カメラパラメータに起因する違いを吸収したこのコストボリュームを入力とすることで，学習時とテスト時で異なるカメラパラメータを用いてもdepth推定が可能である手法を提案した．
提案した手法は現在国際トップジャーナルに投稿中である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

従来手法の問題点を明らかにし，それに対する解決方策を実装，評価し，論文執筆まで進めることができている．

Strategy for Future Research Activity

提案手法ではネットワークの入力層にカメラモデルを融合している．深層学習技術の特徴はその表現能力と入力に対する非線形性にあるが，カメラモデルは線形な演算である．したがって，提案手法では入力画像に対する非線形性が失われてしまっており，有用な特徴の抽出に失敗してしまう傾向にある．今後はネットワークの出力側にカメラモデルを導入し，深層学習とモデルベースの双方の利点を上手く活用できるような手法を開発していく予定である．

Causes of Carryover

物品の導入が円安等の影響で延期したため，次年度以降に導入を進めていく予定である．