2018 Fiscal Year Annual Research Report
High precision blind image deconvolution based on image feature extraction
Project/Area Number |
18J13014
|
Research Institution | Keio University |
Principal Investigator |
藤澤 貴典 慶應義塾大学, 理工学研究科, 特別研究員(DC2)
|
Project Period (FY) |
2018-04-25 – 2020-03-31
|
Keywords | 画像再構成問題 / 超解像 / ぶれ除去 / シフト量推定 |
Outline of Annual Research Achievements |
本年度は画像に発生する劣化を画像再構成問題で取り除くための手法に関して議論した.画像信号は被写体から,撮像機器内のアナログ・ディジタル処理を経て計算機上で扱える情報となるが,その過程において劣化が生じる.画像再構成技術は,これらの劣化過程をノイズとして画像から取り除き,本来の被写体の情報を得る技術であり,重要性が高い.本研究では,画像の超解像問題について,自画像からのサンプルによる辞書を用いて高速に高解像度画像を再構成する手法を考案した.また,画像のぶれ除去問題に関して,画像に特徴抽出フィルタを導入することで,ぶれ軌跡推定の精度向上を図った.また,差分逆畳み込みを周波数上で実現する方法を考案し,実行速度を大きく短縮した. また本年度は画像の回転・スケール・シフト量推定に関する研究発表及び論文投稿を行った.画像の回転量・スケール量・シフト量推定はぶれ推定を行うにあたって基礎となる画像処理技術であるほか,ステレオビジョン,画像の符号化,画像認識などの分野にも適用可能であり,重要度は高い. 既存の回転・スケール推定はLog-polar変換を用いて画像の回転中心に関わらない推定を実行できるが,この手法は周波数特性の補間が必要で,大きな推定誤差を生じる問題点がある.本論文はラドン変換とサブピクセル精度のシフト量推定を用いた新しい回転量・スケール量推定のアルゴリズムを提案する.画像の周波数特性に対してラドン変換を適用すると,回転量は画像の回転中心やスケール量に関わらず同じ水平シフト量に変換され,これを用いた回転量推定は従来手法と比べて補間誤差の影響が少ない.加えてサブピクセル精度のシフト量推定を用いることで回転量推定精度を更に向上させることができる.テスト画像を用いたシミュレーションより,提案手法はLog-polar変換と比べてより高い精度での回転・スケール推定を実現できることを示した.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題は高精度で実用的な手ぶれ補正技術を実現するための手法の研究を目的としている. 本年度はこの課題の実現にあたって,手ぶれの特性を含む,画像に対する劣化過程を一般的に表現し,それを画像再構成問題によって補正するにあたり,処理時間の改善,事前情報の削除,画像再構成精度の向上を図るための方法を研究した.この過程で,手ぶれ軌跡推定の際に画像に特徴抽出を加えることで,ぶれ軌跡推定の精度を向上させることができた.また,手ぶれ補正の際に,周波数軸での共役勾配法を用いることで高速な処理を実現できることを示した.本年度は,既存の手法との精度比較を行い,提案手法が精度面,実行速度面で実用性が高い手ぶれ補正を実現できることを確認した. また,本年度は,ぶれ軌跡推定を行うにあたっての基礎理論となる,画像の回転・スケール・シフト量推定に関する研究を行った.これは,平成30年度の実施計画には含まれていなかった内容であるが,ぶれ軌跡推定精度の改善の他に,ステレオビジョン,画像の符号化,画像認識などの分野にも適用可能であり,その重要度は高い.本研究は画像に対して新たな変換アルゴリズムを適用することにより,既存の回転・スケール推定アルゴリズムよりも高速で高精度な推定を実現できる手法を考案した.本手法は国際学会において発表し,一定の評価を得るとともに,国際ジャーナルであるIEEE Accessに採択され,十分な進捗が得られたと判断する. さらに本年度は,GPUを用いた並列計算環境による評価を行い,消費メモリと実行時間に関する評価を行った.GPUを用いた深層学習のアルゴリズムによって,既存のぶれ軌跡推定やぶれ除去の精度をさらに向上させることができることが確認され,今後の研究の展開が期待される.
|
Strategy for Future Research Activity |
本年度の研究で,GPUによる並列計算環境を用いた深層学習が,手ぶれ軌跡推定,手ぶれ補正において既存の手法より高い性能を示すことが明らかになった.そのため,来年度の研究では,深層学習を活用し,高精度で実用的な手ぶれ補正技術を模索する. 深層学習を用いた手ぶれ軌跡推定は主に直線を推定するものが主であり,局所的な処理を用いることでぶれ軌跡の種類が限られる問題点に対処している.しかし,近隣の処理領域間でぶれ軌跡が類似すること,被写体の遠近で焦点ボケの大きさが決まることを制約にすれば,もっともらしいぶれ軌跡導出を実現できると考えられる.今後の研究では,深層学習を活用したより一般的な手ぶれ軌跡推定法を提案し,本年度に考案した特徴抽出と非線形最適化を用いたぶれ軌跡推定との比較を行い,より実用的なぶれ軌跡推定に向いたアルゴリズムの選定を行う. 深層学習を用いた手ぶれ補正技術のアプローチは主に2つあり,ひとつは,既存のぶれ除去手法で補正した画像に含まれるノイズやリンギングを深層学習を用いて取り除く後処理的アプローチ,もうひとつは深層学習自身の持つ画像再構成能力を利用して,画像から手ぶれとノイズの両方を取り除くアプローチである.前者のアプローチは高速に処理できる一方で,入力に想定されるぶれ軌跡の種類が限られる.後者のアプローチは入力ぶれ軌跡に対する汎用性が高い一方で計算時間が非常にかかる問題点がある.今後の研究では,両方のアプローチについて,処理時間の改善,手ぶれ補正精度の向上,入力されるぶれ軌跡に対する汎用性を両立させる方法を模索する予定である.
|
Research Products
(3 results)