• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実施状況報告書

確率的な5次元テンソル光線空間に基づく映像からの写真現像

研究課題

研究課題/領域番号 18K19813
研究機関名古屋工業大学

研究代表者

福嶋 慶繁  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80550508)

研究期間 (年度) 2018-06-29 – 2021-03-31
キーワード光線空間 / コンピュテーショナルフォトグラフィ / 自由視点映像 / リフォーカシング / ハイダイナミックレンジイメージング
研究実績の概要

本研究は,「カメラの設定を行い,被写体を視野に収めてからシャッターを切る」というこれまでの常識的な撮影方法から,「カメラの設定値を変えながらビデオを撮影し,後から計算処理で所望の状態の画像を現像する」という撮影のパラダイムを変えることで,今まで以上の画質と高い臨場感,機能性を実現する撮影方法の確立を目指す.処理の流れとしては「撮影」,「再構成」,「現像」の3つのステップを行うこととなる.
そのために,大量の情報を効率的に扱える新たなデータ構造や,撮影・現像方法の検討を行う.そのデータ構造には,光線空間と呼ばれる光の位置・角度を保持する4次元空間を基に,値を一意ではなく確率的に変動可能な状態で保持できるように5次元テンソルへと拡張する.加えて,コンピュテーショナルフォトグラフィの研究で用いられてきた連射撮影やフラッシュの活用,パノラマ画像や超解像,ぼけ生成などの研究を,このデータ構造を用いて包括的に捉えることで,この研究分野の体系化を試みる.
今年度は,多数取得される画像を統合させる「再構成」のための情報としてデプスマップによる3次元情報の剛体位置合わせと,オプティカルフローによる情報の位置合わせについて検討した.また,統合後の「現像に相当する」画像処理を行うためのHDR画像合成や自由視点画像合成アルゴリズム,リフォーカシングアルゴリズム,霞除去アルゴリズムについて検討した.また,その中で用いられるフィルタリング手法であるガウシアンフィルタやバイラテラルフィルタ,ガイデットフィルタ,DCTフィルタといった空間フィルタリングの高速化,高精度化手法を検討し,高速かつ高精度な現像が可能にした.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究は,各処理を(1)撮影,(2)再構成,(3)現像の3段階に分けて進めものである.そして,これら処理と従来のコンピュテーショナルフォトグラフィの研究との関連を明らかにすることで,この分野の研究の体系化を進める.
今年度は,まず撮影環境として,通常のスマホや一眼レフに加えてデプスセンサを購入し,それらの撮像環境を整備した.
そして,アプリケーションとしてHDRや,自由視点画像合成を対象として,再構成手法の様々な検討を行った.まず,自由視点画像合成に関しては,デプスセンサの剛体レジストレーションをより簡単かつロバストに可能なキャリブレーションパタンを構築した.そしてHDRに関しては,まず通常のスマートフォンで映像を撮影し,カメラの運動が少ない場合と大きい場合で,レジストレーションがどの程度可能かを検証した.このレジストレーションには複数の動きベクトル推定アルゴリズムを適用して検証した.加えて,デプスセンサを用いてそのレジストレーションの精度が向上できるか試みた.
最後に,現像処理においては,複数の画像を結合するためのフィルタリング処理が重要となる.そのフィルタリングの高速化,高精度化を行うために,ガウシアンフィルタ,バイラテラルフィルタ,ガイデットフィルタといった基礎的なフィルタについて,これまで以上に高速に動作する近似高速化アルゴリズムを提案し,またそのアルゴリズムが高速に動作するようなハードに合わせた実装方法を検討した.加えて,高速なぼけ復元アルゴリズムの検討を行った.

今後の研究の推進方策

Google pixelに代表されるように,カメラ内での連射,複数カメラの撮影データから高精度な画像を生成する流れが進んでいる.しかし,本研究のように大きな範囲を動作した画像群から高精度な画像を現像するという挑戦的な試みまでは進んでいない.
しかしながら,そのハードウェア等は現実的な計算時間で画像処理を追わらせるために重要なファクターである.そのため,そのようなハードウェアに基づいて撮影する方法を新たに考案する.
加えて当初の予定通り,複数の画像合成アプリケーションに応じた作ったレジストレーション方法からの再構成方法を統合し,包括的にコンピュテーショナルフォトグラフィのアプリケーションを考えることができるフレームワークを構築していく.密な光線空間を基に,実際に処理する場所を考慮して確率的にデータの有無が確認可能なデータ構造を構築し,間引き処理や選択的な画素の取得が可能なデータ構造の構築を目指す.
これらと並行して,コンピュテーショナルフォトグラフィの基盤的な役割を果たすフィルタリングの高精度化,高速化の研究を引き続き進めていく.特にエッジ保存平滑化フィルタであるバイラテラルフィルタやガイデットフィルタの近似高速の達成を目指す.これらのフィルタは,再構成処理,現像処理どちらでも用いるため,このフィルタの高速化,高性能化が達成できれば大きく性能が向上する.

次年度使用額が生じた理由

近年のCPUの生産状況から,その供給が不足していたため高性能計算機の納入が遅れた.そのため,大きな差額が生じている.しかしながら,現報告書を書いている段階は納入されており大きな差分は生じていない.

  • 研究成果

    (30件)

すべて 2019 2018 その他

すべて 雑誌論文 (1件) 学会発表 (28件) (うち国際学会 6件) 備考 (1件)

  • [雑誌論文] Effective Implementation of Edge-Preserving Filtering on CPU Microarchitectures2018

    • 著者名/発表者名
      Maeda Yoshihiro、Fukushima Norishige、Matsuo Hiroshi
    • 雑誌名

      Applied Sciences

      巻: 8 ページ: 1985~1985

    • DOI

      10.3390/app8101985

  • [学会発表] Accelerating Redundant DCT Filtering for Deblurring and Denoising2019

    • 著者名/発表者名
      N. Fukushima, Y. Kawasaki, and Y. Maeda
    • 学会等名
      IEEE International Conference on Image Processing (ICIP)
    • 国際学会
  • [学会発表] 200 FPS Constant-time Bilateral Filter Using SVD and Tiling Strategy2019

    • 著者名/発表者名
      K. Sugimoto, N. Fukushima, and S. Kamata
    • 学会等名
      IEEE International Conference on Image Processing (ICIP)
    • 国際学会
  • [学会発表] Vector Addressing for Non-Sequential Sampling in FIR Image Filtering2019

    • 著者名/発表者名
      N. Fukushima, T. Tsubokawa, and Y. Maeda
    • 学会等名
      IEEE International Conference on Image Processing (ICIP)
    • 国際学会
  • [学会発表] Halide and GENESIS for Generating Domain-Specific Architecture of Guided Image Filtering2019

    • 著者名/発表者名
      A. Ishikawa, N. Fukushima, A. Maruoka, and T. Iizuka
    • 学会等名
      IEEE International Symposium on Circuits and Systems (ISCAS)
    • 国際学会
  • [学会発表] DCTを用いた定数時間ガウシアンフィルタの演算数削減2019

    • 著者名/発表者名
      大塚友貴,福嶋慶繁
    • 学会等名
      画像センシングシンポジウム(SSII)
  • [学会発表] 冗長DCTによる高効率な周波数フィルタリング2019

    • 著者名/発表者名
      佐藤利樹,川崎雄基,福嶋慶繁
    • 学会等名
      画像センシングシンポジウム(SSII)
  • [学会発表] 領域に応じたレンジカーネル最適化による定数時間バイラテラルフィルタ2019

    • 著者名/発表者名
      宮村挙寿,杉本憲治郎,福嶋慶繁,鎌田清一郎
    • 学会等名
      電子情報通信学会画像工学研究会(IE)
  • [学会発表] DCTを用いた定数時間ガウシアンフィルタの演算数削減2019

    • 著者名/発表者名
      大塚友貴, 福嶋慶繁
    • 学会等名
      電子情報通信学会東海支部 卒業研究発表会
  • [学会発表] 定数時間バイラテラルフィルタの効率的な計算スケジューリング2019

    • 著者名/発表者名
      辻悠太, 福嶋慶繁
    • 学会等名
      電子情報通信学会東海支部 卒業研究発表会
  • [学会発表] オプティカルフローを用いた手振れ画像からのHDR画像生成2019

    • 著者名/発表者名
      佐藤利樹, 福嶋慶繁
    • 学会等名
      電子情報通信学会東海支部 卒業研究発表会
  • [学会発表] タイリングとレンジドメイン削減による定数時間バイラテラルフィルタの性能向上2019

    • 著者名/発表者名
      宮村挙寿, 福嶋慶繁
    • 学会等名
      電子情報通信学会東海支部 卒業研究発表会
  • [学会発表] Local LUT Upsampling for Acceleration of Edge-Preserving Filtering2019

    • 著者名/発表者名
      H. Tajima, T. Tsubokawa, Y. Maeda, and N. Fukushima
    • 学会等名
      International Conference on Computer Vision Theory and Applications (VISAPP)
    • 国際学会
  • [学会発表] Tiling Parallelization of Guided Image Filtering2018

    • 著者名/発表者名
      T. Tsubokawa, M. Nakamura, Y. Maeda, and N. Fukushima
    • 学会等名
      International Workshop on Frontiers of Computer Vision (IW-FCV)
  • [学会発表] ローカルLUTによるエッジ保存平滑化フィルタの近似高速化2018

    • 著者名/発表者名
      田島寛士,坪川哲平,前田慶博,福嶋慶繁
    • 学会等名
      電子情報通信学会 画像工学研究会(IE)
  • [学会発表] Vectorization of Kernel and ImageSubsampling in FIR Image Filtering2018

    • 著者名/発表者名
      T. Tsubokawa, Y. Maeda, and N. Fukushima
    • 学会等名
      International Symposium on Computing and Networking (CANDAR)
  • [学会発表] ガイデットフィルタのHalideとGENESISコンパイラを用いた専用アーキテクチャ生成2018

    • 著者名/発表者名
      石川阿香里, 福嶋慶繁, 丸岡晃, 飯塚拓郎
    • 学会等名
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
  • [学会発表] エッジ保持平滑化フィルタの非正規化数抑制による効率的な実装2018

    • 著者名/発表者名
      前田慶博,福嶋慶繁
    • 学会等名
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
  • [学会発表] ローカルLUTを用いたエッジ保存平滑化フィルタの高速化2018

    • 著者名/発表者名
      田島寛士,坪川哲平,前田慶博,福嶋慶繁
    • 学会等名
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
  • [学会発表] ポストスケーリング型DCTを用いた周波数フィルタリングへの冗長処理適用2018

    • 著者名/発表者名
      川﨑雄基, 前田慶博, 福嶋慶繁
    • 学会等名
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
  • [学会発表] FIRフィルタにおける画素とカーネルのサブサンプリングによる高速化2018

    • 著者名/発表者名
      坪川哲平,前田慶博、福嶋慶繁
    • 学会等名
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
  • [学会発表] 単精度浮動小数点における定時間バイラテルフィタの高効率化2018

    • 著者名/発表者名
      渡邉光一朗, 前田慶博, 福嶋慶繁
    • 学会等名
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
  • [学会発表] PCAによる局所線形フィルタの高速化2018

    • 著者名/発表者名
      室岡芳樹, 前田慶博, 福嶋慶繁
    • 学会等名
      画像符号化シンポジウム(PCSJ)/映像メディア処理シンポジウム(IMPS)
  • [学会発表] Efficient Computational Scheduling of Box and Gaussian FIR Filtering for CPU Microarchitecture2018

    • 著者名/発表者名
      N. Fukushima, Y. Maeda, Y. Kawasaki, M. Nakamura, T. Tsumura, K. Sugimoto, and S. Kamata
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 国際学会
  • [学会発表] 定数時間バイラテラルフィルタの高効率な単精度浮動小数点実装2018

    • 著者名/発表者名
      渡邉光一朗, 前田慶博, 福嶋慶繁
    • 学会等名
      信号処理シンポジウム
  • [学会発表] ポストスケーリング型DCTによる周波数フィルタの高速化2018

    • 著者名/発表者名
      川﨑雄基, 前田慶博, 福嶋慶繁
    • 学会等名
      電子情報通信学会ソサイエティ大会
  • [学会発表] ポストスケーリング型DCTによる冗長周波数フィルタ2018

    • 著者名/発表者名
      川﨑雄基, 前田慶博, 福嶋慶繁
    • 学会等名
      電気・電子・情報関係学会東海支部連合大会
  • [学会発表] 主成分分析によるガイデットフィルタの近似2018

    • 著者名/発表者名
      室岡芳樹, 前田慶博, 福嶋慶繁
    • 学会等名
      電気・電子・情報関係学会東海支部連合大会
  • [学会発表] 主成分分析を用いたガイデットフィルタの高速化2018

    • 著者名/発表者名
      室岡芳樹, 前田慶博, 福嶋慶繁
    • 学会等名
      電子情報通信学会ソサイエティ大会
  • [備考]

    • URL

      https://github.com/norishigefukushima/OpenCP

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi