2019 Fiscal Year Research-status Report
Photo Developing based on 5D Probabilistic Light Field
| Project/Area Number |
18K19813
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
福嶋 慶繁 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80550508)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | Bayer画像 / 局所LUT / SSIM / バイラテラルフィルタ / オプティカルフロー / Halide / エッジ保存平滑化フィルタ |
|---|
| Outline of Annual Research Achievements |
本研究は，「カメラの設定を行い，被写体を視野に収めてからシャッターを切る」というこれまでの常識的な撮影方法から，「カメラの設定値を変えながらビデオを撮影し，後から計算処理で所望の状態の画像を現像する」という撮影のパラダイムを変えることで，今まで以上の画質と高い臨場感，機能性を実現する撮影方法の確立を目指す．処理の流れとしては「撮影」，「再構成」，「現像」の３つのステップを行うこととなる．
そのために，大量の情報を効率的に扱える新たなデータ構造や，撮影・現像方法の検討を行う．そのデータ構造には，光線空間と呼ばれる光の位置・角度を保持する4次元空間を基に，値を一意ではなく確率的に変動可能な状態で保持できるように５次元テンソルへと拡張する．加えて，コンピュテーショナルフォトグラフィの研究で用いられてきた連射撮影やフラッシュの活用，パノラマ画像や超解像，ぼけ生成などの研究を，このデータ構造を用いて包括的に捉えることで，この研究分野の体系化を試みる．
今年度は，「撮影」については，多数のBayer画像を取得し，それらをオプティカルフロー推定を用いて位置合わせする方法の検討を行った．「再構成」に関しては，効率的な処理が可能なデータ構造について３つ検討を行った．主に，局所LUTテンソルを用いたデータ構造による高速化，ランダムサンプルによる画像処理の高速化を実現するデータ構造，定数時間バイラテラルフィルタに関する効率的なデータ構造の３つの検討を行った．また，「現像」は，Bayerからの高精度な再構成方法の検討や，処理速度向上のための効率的な記述方法の検討，それに加えて，現像した画像の品質を評価するための画質評価計算の高速化方法の検討を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は，１．入力方法，２．データ構造，３．画質評価方法，４．計算方法の４つの項目について検討した．
まず，１．入力方法については，Bayer画像を直接入力として，そこから動きベクトルを取得し，これらを効果的に統合する方法を検討した．複数枚のBayer画像を統合することで，高精度に画像を復元する方法を考案した．
２．データ構造としては，3通りのケースを検討した．まず，一つ目は，大量の画像をダウンサンプルし，その計算結果をLUTのテンソルとして保存し，それらを参照することで高解像度の画像を高速に高速する方法を考案した．二つ目は，画像処理領域をランダムサンプルで減らすことで高速化する方法を検討し，それを高速に計算するためのデータ構造を検討した．最後に，エッジ保存平滑フィルタを高速に行うためのデータ構造をグレイスケール，カラーの場合において検討した．特にグレイスケールの場合の成果は国際会議発表のTop10%にノミネートされた．
３．画質評価方法としては，近年GAN等でも用いられるSSIMやMS-SSIMの画質評価指標を近似高速化した．この指標はPSNRといった単純な指標よりも多くの計算コストがかかったが，大幅な高速化に成功した．高速な画質評価指標の導入により，膨大な量を入力としてとったとしても耐えられるようになった．また，この成果は国際会議発表にて優秀論文賞を受賞した．
４．計算方法では，上記で検討したデータ構造を踏まえて，プログラミング言語Halideを用いてループ変換や並列化，ベクトル化を行うことで高効率なプログラムを生成することが可能となった．また，データ構造やループ順序を変更可能なように，効率的な記述方法の検討も行った．
|
| Strategy for Future Research Activity |
Google pixelに代表されるように，カメラ内での連射，複数カメラの撮影データから高精度な画像を生成する流れが進んでいる．しかし，本研究のように大きな範囲を動作した画像群から高精度な画像を現像するという挑戦的な試みまではいまだ大きな進歩はない．
最終年度では，これまでの「撮影」，「再構成」，「現像」それぞれで得られた成果を統合し，包括的に検討可能なフレームワークの構築を行う．特に，フィルタリング処理に着目し，複数枚の入力画像に対して，高効率かつ高精度に処理可能な処理フローの検討や効率的なそのプログラムの記述方法の検討を行う．
その際，より実践的な検討を行うために，実際に多く使われているスマートフォン端末等のカメラを用い，シミュレーションではなく実ノイズの影響を踏まえた検討を行う．そのために，ノイズのモデル化や，劣化環境のモデル化等を行い，本件研究課題で実現しようとするフレームワークがどこまで有効に働くのかを検証する．これに加えて，前年度主要な検討を行ったエッジ保存平滑フィルタの高速化に関して包括的な検討を行い，複数枚の入力画像に対応するための拡張を行い，体系化を進める．また，画質評価に関しては，高速化した手法の実際の人の主観評価との相関をとることで効果検証を進める．
なお，新型コロナウイルスによる影響を踏まえ，学会発表等の出張を伴う研究成果の公表を減らし，論文発表等の出張を伴わない成果発表に切り替えて研究を遂行する．
|
| Causes of Carryover |
Covid-19の影響により，海外出張や国内出張を緊急に取りやめたため，次年度使用額が生じた．本予算は，次年度に発表に代わって論文投稿やその校正等に使用する予定である．
|
