ライトフィールドカメラのオクルージョンを考慮した4次元空間マッチングモデルの構築

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K11887
• Research Institution: Tottori University
• Principal Investigator: 三柴 数 鳥取大学, 工学研究科, 准教授 (40609038)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: ライトフィールドカメラ / 視差推定 / オクルージョン / マッチング

Outline of Annual Research Achievements

4次元空間においてオクルージョンを考慮したライトフィールドカメラにおけるマッチングモデルの構築に向け、令和2年度はオクルージョンを考慮しないモデルの構築と性能評価を予定した。オクルージョンを考慮しないモデルについて、当初計画では、フィルタリング、最適化から導かれる変換、線形近似などから導かれるコスト計算方法の検討を予定していたが、調査を進める中で線形近似を基にした手法が好ましいと考え、主にこれについて検討を進めた。
オクルージョンを考慮しないモデルの構築については、以下の通りの結果が得られた。従来から研究されているマッチングコストに対する線形近似により、新たなマッチングコスト計算方法がいくつか得られた。また、その中の一部についてはPCAとの関連も見いだされ、現在個別に検討しているマッチングモデルは一つの基盤となるマッチングコストから導かれる可能性を見出した。
モデルの性能評価については、以下の通りの結果が得られた。線形近似により得られたコストのマッチング性能は、必要とされる精度には及ばなかった。これは、線形近似前のコスト計算の性能自体があまり高いものではなかったためである。一方で、マッチングコストに関する調査を行う中で、より性能は高いが線形近似が直接は困難なコスト計算方法を発見した。
また、マッチング後の推定結果の修正処理の検討も進めており、高速に動作するフィルタリング処理により推定結果が大幅に向上する可能性が見いだされた。このことは、必ずしも初期のマッチング性能が高精度である必要がないことを示唆している。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

4次元空間においてオクルージョンを考慮したライトフィールドカメラにおけるマッチングモデルの構築に向け、令和2年度はオクルージョンを考慮しないモデルの構築と性能評価を予定した。これについて線形近似を基にした手法の検討を主に進め、性能評価を行った。
当初計画では、フィルタリング、最適化から導かれる変換、線形近似などから導かれるコスト計算方法の検討を予定していたが、その中で進めたのは主に線形近似を用いた手法であった。これについては、調査を進める中で線形近似を基にした手法が好ましいと判明したためであり、その他のアプローチについても引き続き検討は進める予定である。
また、当初計画にはなかったものの、マッチング後の推定結果の修正処理の検討も進めており、高速に動作するフィルタリング処理により推定結果が大幅に向上する可能性が見いだされた。これは線形近似から導かれたマッチングコストの低性能を補える可能性がある。
以上のように、研究計画に対してほぼ計画通り進んでいる。

Strategy for Future Research Activity

当初計画では、令和3年度には提案モデル全体を構築するための分類と統合の方法の確立を目指していた。基本的にはこの方針に沿って進めるが、令和2年度における研究で得られた知見から、場合によってはコスト計算(写像)中に分類、統合を融合させられるのではないかと考えているため、こちらについても並行して検討を進める予定である。
一方で、フィルタリングをベースとしたコスト計算方法についても検討を続ける予定であり、多方向から研究を進めていく予定である。

Causes of Carryover

コロナウイルス感染症の広まりにより、予定していた対外的な発表が行えなかったことにより、次年度使用額が生じた。次年度以降も対外的な発表の可否に関しては現時点では不明であるため、使用計画としては主にデータ解析のための設備購入や、実験実施に係る人件費などに充てることで、効率よく研究を推進する予定である。