高精度両眼立体視手法の高速化および応用に関する研究

2017 Fiscal Year Research-status Report

• Project/Area Number: 25330197
• Research Institution: Yamaguchi University
• Principal Investigator: 水上 嘉樹 山口大学, 大学院創成科学研究科, 准教授 (60322252)
• Project Period (FY): 2013-04-01 – 2019-03-31
• Keywords: 両眼立体視 / 高精度な視差計算

Outline of Annual Research Achievements

本研究の目的は両眼立体視における視差計算を高精度かつ高速に実現するものである。左右の画像間で視差を考慮した誤差を一般的にコストと呼んでいるが、2015年に J.Zbontar らが畳み込みニューラルネットワーク（CNN）を用いたコスト計算手法を提案して以来、多くの研究者が彼らの計算手法に基づいた改良手法を提案している。
本研究においてもCNNによるコスト計算について検討を行うこととして、まずは J.Zbontar らが公開している実装コードの解析、および、精度向上のための前処理および後処理について試行錯誤を行っている。特に、後処理については、物体境界の正確な分割とテクスチャが少ない領域での取り扱いに注力している。なお、精度評価は Middlebury Stereo Evaluation Datasets (http://vision.middlebury.edu/stereo/eval3/) をデータベースとして利用している。現時点の状況として、検討中の手法はデータベースに含まれる一部の画像に対しては精度が改善することが可能であるが、画像群の全体に対して精度改善可能な手法の提案には至っていない。今年度、検討した項目として、後処理における雑音除去にエッジ保存フィルタ(bilateral filter および guided filter)を適用した場合のパラメータの最適化、RGB情報および奥行情報の両方に基づいた領域分割手法の適用、semi-global matching手法のパラメータの最適化が挙げられる。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

上述の J.Zbontar らによって提案された畳み込みニューラルネットワーク（CNN）を用いたコスト計算手法を検討する際に、公開されたコードを実行および解析するために多くの時間と労力を費やしてしまった。当初、コードの実行を試みてうまくいかなかったためにハードウェアの問題を疑ってメモリ増設やプロセッサの性能改善等を行ったが問題は解消されなかった。何度か試行錯誤を繰り返した後に、公開されたコードの複数個所を変更する必要があることに気づいた。また、解析においてはコードの使用言語であるTorchに不慣れであったために記述内容の理解や変更作業が非効率になったことも進捗が遅れた要因となった。

Strategy for Future Research Activity

近年、Taniaiらによって提案された CNN, Patch Match, Local α-expansion を組み合わせた高精度視差計算手法(https://arxiv.org/pdf/1603.08328.pdf)等の先行研究を参考にして、物体境界の分割とテクスチャが少ない領域の取り扱いについて引き続いて検討していくこととする。

Causes of Carryover

当初の計画通りに提案手法の構築が進んでいないという認識から、期間を延長することによって目標を達成したいと考えている。研究発表を行うための予算として、最終年度の予算を次年度に持ち越すこととした。