ライトフィールドビジョン -画像理解のためのコンピュテーショナルフォトグラフィ-（国際共同研究強化）

2016 Fiscal Year Research-status Report

• Project/Area Number: 15KK0012
• Research Institution: Kyushu University
• Principal Investigator: 長原 一 九州大学, システム情報科学研究院, 准教授 (80362648)
• Project Period (FY): 2016 – 2017
• Keywords: コンピュテーショナルフォトグラフィ / コンピュータビジョン

Outline of Annual Research Achievements

従来のコンピュータビジョン(CV) 研究は，2 次元画像を入力することを前提として進化してきた．しかしながら，2 次元入力は単にカメラというセンサの制約によるもので，これが画像理解において最適なわけではない．基研究では，このライトフィールドカメラ(LFカメラ)を画像理解に応用する「ライトフィールドビジョン」(LF ビジョン)を提案し，新たな研究分野として確立することを目的としている．提案するLF ビジョンの有効性を示す具体的課題として，透明や鏡面物体の検出と認識，形状推定というチャレンジングな課題を設定した．
基研究で提案しているLFビジョンが計測を高次元化することで，透明物体の認識を可能としたように，投影プロジェクタをも高次元化するLFアクティブビジョン手法を提案する．本研究では4次元投影，4次元計測の射影関係，すなわち4次元ライトトランスポートから形状を求める点が新しい．本研究提案は基研究のLFビジョンのフレームワークをアクティブビジョンに拡張するものであり，このフレームワークをより一般化する意味で基研究を飛躍的に発展させるものである．また，従来のアクティブビジョンで計測できなかった対象や条件下で物体形状を求めることから，画像理解のトピックとしてもチャレンジングで応用分野の適用範囲を広げる点で有用性が高い．この技術により3次元計測がより身近になり，コピーやファックスのように，物体を3Dプリンタでコピーしたり，送ったりできる要素研究である．
本年度は，渡航先の研究者と符号化投影パターンに関する議論を行った．これらの議論に基づいて，複雑な反射率をもつ物体の三次元形状計測のための手法の検討を行った．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

28年度に，アメリカコロンビア大学に9ヶ月間，客員研究員として滞在した．この間，受け入れ教授のNayar教授をはじめ，当該研究グループおよびここに訪問した研究者との研究交流および，本研究テーマに関する議論を行った．特に，符号化投影パターンやそのパターン光発生装置の実現に関する議論を行った．これらの議論に基づいて，複雑な反射率をもつ物体の三次元形状計測のための手法の検討を行った．

Strategy for Future Research Activity

前年度に検討した複雑な反射率をもつ物体の三次元形状推定手法を実装し，シミュレーションにより提案手法の実現性を検証する．さらには，パターン光投影手法の実装を行い，投影装置による投光下においてライトフィールドカメラにより撮影できる装置の構築を行う．その撮影装置を用いて撮影された画像により，実画像においても本手法が適用可能であることを示す．さらには，形状計測とともに物体の反射率の同時推定についても検討を行う．