2018 Fiscal Year Research-status Report
Photo Developing based on 5D Probabilistic Light Field
| Project/Area Number |
18K19813
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
福嶋 慶繁 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80550508)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 光線空間 / コンピュテーショナルフォトグラフィ / 自由視点映像 / リフォーカシング / ハイダイナミックレンジイメージング |
|---|
| Outline of Annual Research Achievements |
本研究は，「カメラの設定を行い，被写体を視野に収めてからシャッターを切る」というこれまでの常識的な撮影方法から，「カメラの設定値を変えながらビデオを撮影し，後から計算処理で所望の状態の画像を現像する」という撮影のパラダイムを変えることで，今まで以上の画質と高い臨場感，機能性を実現する撮影方法の確立を目指す．処理の流れとしては「撮影」，「再構成」，「現像」の３つのステップを行うこととなる．
そのために，大量の情報を効率的に扱える新たなデータ構造や，撮影・現像方法の検討を行う．そのデータ構造には，光線空間と呼ばれる光の位置・角度を保持する4次元空間を基に，値を一意ではなく確率的に変動可能な状態で保持できるように５次元テンソルへと拡張する．加えて，コンピュテーショナルフォトグラフィの研究で用いられてきた連射撮影やフラッシュの活用，パノラマ画像や超解像，ぼけ生成などの研究を，このデータ構造を用いて包括的に捉えることで，この研究分野の体系化を試みる．
今年度は，多数取得される画像を統合させる「再構成」のための情報としてデプスマップによる3次元情報の剛体位置合わせと，オプティカルフローによる情報の位置合わせについて検討した．また，統合後の「現像に相当する」画像処理を行うためのHDR画像合成や自由視点画像合成アルゴリズム，リフォーカシングアルゴリズム，霞除去アルゴリズムについて検討した．また，その中で用いられるフィルタリング手法であるガウシアンフィルタやバイラテラルフィルタ，ガイデットフィルタ，DCTフィルタといった空間フィルタリングの高速化，高精度化手法を検討し，高速かつ高精度な現像が可能にした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は，各処理を（１）撮影，（２）再構成，（３）現像の３段階に分けて進めものである．そして，これら処理と従来のコンピュテーショナルフォトグラフィの研究との関連を明らかにすることで，この分野の研究の体系化を進める．
今年度は，まず撮影環境として，通常のスマホや一眼レフに加えてデプスセンサを購入し，それらの撮像環境を整備した．
そして，アプリケーションとしてHDRや，自由視点画像合成を対象として，再構成手法の様々な検討を行った．まず，自由視点画像合成に関しては，デプスセンサの剛体レジストレーションをより簡単かつロバストに可能なキャリブレーションパタンを構築した．そしてHDRに関しては，まず通常のスマートフォンで映像を撮影し，カメラの運動が少ない場合と大きい場合で，レジストレーションがどの程度可能かを検証した．このレジストレーションには複数の動きベクトル推定アルゴリズムを適用して検証した．加えて，デプスセンサを用いてそのレジストレーションの精度が向上できるか試みた．
最後に，現像処理においては，複数の画像を結合するためのフィルタリング処理が重要となる．そのフィルタリングの高速化，高精度化を行うために，ガウシアンフィルタ，バイラテラルフィルタ，ガイデットフィルタといった基礎的なフィルタについて，これまで以上に高速に動作する近似高速化アルゴリズムを提案し，またそのアルゴリズムが高速に動作するようなハードに合わせた実装方法を検討した．加えて，高速なぼけ復元アルゴリズムの検討を行った．
|
| Strategy for Future Research Activity |
Google pixelに代表されるように，カメラ内での連射，複数カメラの撮影データから高精度な画像を生成する流れが進んでいる．しかし，本研究のように大きな範囲を動作した画像群から高精度な画像を現像するという挑戦的な試みまでは進んでいない．
しかしながら，そのハードウェア等は現実的な計算時間で画像処理を追わらせるために重要なファクターである．そのため，そのようなハードウェアに基づいて撮影する方法を新たに考案する．
加えて当初の予定通り，複数の画像合成アプリケーションに応じた作ったレジストレーション方法からの再構成方法を統合し，包括的にコンピュテーショナルフォトグラフィのアプリケーションを考えることができるフレームワークを構築していく．密な光線空間を基に，実際に処理する場所を考慮して確率的にデータの有無が確認可能なデータ構造を構築し，間引き処理や選択的な画素の取得が可能なデータ構造の構築を目指す．
これらと並行して，コンピュテーショナルフォトグラフィの基盤的な役割を果たすフィルタリングの高精度化，高速化の研究を引き続き進めていく．特にエッジ保存平滑化フィルタであるバイラテラルフィルタやガイデットフィルタの近似高速の達成を目指す．これらのフィルタは，再構成処理，現像処理どちらでも用いるため，このフィルタの高速化，高性能化が達成できれば大きく性能が向上する．
|
| Causes of Carryover |
近年のCPUの生産状況から，その供給が不足していたため高性能計算機の納入が遅れた．そのため，大きな差額が生じている．しかしながら，現報告書を書いている段階は納入されており大きな差分は生じていない．
|
