2021 Fiscal Year Research-status Report

ライトフィールドカメラのオクルージョンを考慮した4次元空間マッチングモデルの構築

Research Project

Project/Area Number	20K11887
Research Institution	Tottori University
Principal Investigator	三柴数鳥取大学, 工学研究科, 准教授 (40609038)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	ライトフィールドカメラ / 視差推定 / 重み付き中央値フィルタ
Outline of Annual Research Achievements	令和2年度に得られた知見として、マッチング後の推定結果の修正処理において、高速に動作するフィルタリング処理により推定結果が大幅に向上する可能性が見いだされた点が挙げられる。このことは、必ずしも初期のマッチング性能が高精度である必要がないことを示唆していたため、令和3年度は高速に動作するフィルタリング処理に関する研究を進めた。推定視差に生じる突発的なノイズに対するフィルタリングは、重み付き平均値フィルタよりも重み付き中央値フィルタの方が適していることが知られている。一方で従来の重み付き中央値フィルタは、計算コストが高いことや、多次元の信号に適用できないことが問題であった。特に、本研究で推定される視差は4次元空間に広がるデータであるため、多次元の信号に適用できないことが大きな問題点となった。この問題を解決するために、ガイデッドフィルタカーネルに基づいた新たな重み付き中央値フィルタアルゴリズムを提案した。提案したフィルタは、従来の重み付き中央値フィルタに比べ数倍から数十倍高速に動作することに加え、多次元・多チャンネル・高精度データに対して適用できるという利点を持つ。フィルタはCPU、GPUどちらでも動作し、またそれぞれに適したアルゴリズムを提案した。このフィルタを用いることで、従来の重み付き中央値フィルタを用いた視差改善に比べ、高い精度で視差改善を行えることが分かった。この結果については論文としてまとめ、現在論文誌に投稿中である。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 4次元空間においてオクルージョンを考慮したライトフィールドカメラにおけるマッチングモデルの構築に向け、令和2年度はオクルージョンを考慮しないモデルの構築と性能評価を予定した。これについて線形近似を基にした手法の検討を主に進めた。マッチング性能としては他の方法と比べてやや性能が劣るものの、他の方法と比べ非常に高速に動作するという利点を持つため、マッチングのベースとなる手法としてこれを用いることとした。この、マッチング性能がやや劣るという欠点を解決するために、令和3年度には、マッチング後の推定結果の修正処理に関する研究を実施し、4次元データに対する新たな重み付き中央値フィルタアルゴリズムを構築した。このアルゴリズムは高速に動作し、また視差修正について効果的に働くことが確認された。このように、現時点ではベースとなるマッチング手法とマッチング後の視差修正処理について研究が進んでいる状況である。残された課題は、提案モデル全体を構築するための分類と統合の方法の確率と性能評価である。以上のように、当初計画では想定していなかったマッチング後の推定結果の修正処理の実施により、研究計画に遅れが生じている。
Strategy for Future Research Activity	当初計画では、提案モデル全体を構築するための分類と統合の方法の確立を令和3年度に実施予定であったが、令和3年度にはマッチング後の推定結果の修正処理に関する研究を実施した。そこで令和4年度は、提案モデル全体を構築するための分類と統合の方法の確立を目指す。基本的な実施内容は、当初計画通りであり、データの分類、写像、統合からなるマッチング工程の構築を目指す。ただし、令和3年度に構築した重み付き中央値フィルタアルゴリズムを統合プロセスに組み込める可能性を見出しているため、研究の進捗や途中評価結果によっては、当初計画とは異なるアプローチを試みる場合が想定される。当初計画では想定していなかったマッチング後の推定結果の修正処理の実施により、研究計画に遅れが生じている。残された課題であるモデル構築と性能評価には早くとも1年半程度かかることが予想されている一方で、当初研究期間は残り1年である。そのため進捗状況によっては研究期間の延長も視野に入れる。
Causes of Carryover	コロナウイルス感染症の広まりにより、予定していた対外的な発表が行えなかった。また、実験実施に係る人件費を予定していたが、研究計画の変更に伴い人件費が生じる実験を実施しなかった。以上の理由により、次年度使用額が生じた。次年度以降も対外的な発表の可否に関しては現時点では不明であるため、使用計画としては主にデータ解析のための設備購入や、実験実施に係る人件費などに充てることで、効率よく研究を推進する予定である。