2022 Fiscal Year Annual Research Report
Research on rapid and accurate image restoration by fusion of signal processing and deep learning
| Project/Area Number |
20K04472
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
池原 雅章 慶應義塾大学, 理工学部(矢上), 教授 (00212796)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 信号処理 / 深層学習 / ボケ除去 |
|---|
| Outline of Annual Research Achievements |
研究課題の３年目の最終年はこれまでの知見からさまざまな成果が得られた。信号処理技術により目的に応じた画像の特徴を前処理として検出し、劣化画像の性質を考慮しながら深層学習を行うことにより、1)霧除去、2)雨滴除去、3)ビデオの超解像、4)ボケ除去に対して従来方に比べて良好な性能が得られた。また深層学習における基本的な処理である畳み込みに対して、いくつかのカーネルを用意して、その線型結合により畳み込みを表現することで直接実現する場合より演算量を削減しつつ高性能なネットワークを構築することができた。成果は多岐にわたるため、メイントピックスであったデブラーについて具体的な研究成果を説明する。
近年、エンコーダ・デコーダ構造は単一画像のデブラーリングに広く用いられ、高画質な画像を復元することに成功している。しかし、高画質な画像を復元するためには、演算量FLOPsやパラメータ数が増加する傾向にある。そこで、DeepRFTに基づく新しい軽量ネットワーク(IRFTNet)を提案した。このネットワークは、性能向上と軽量化のために2つの特徴を持つ。第一に、反転残差ブロックに基づく反転残差フーリエ変換ブロック（IRFTblock）と呼ばれる新しいバックボーンを導入し、計算量を減少させる。第二に、下位層から上位層へエンコーダ情報を効率的に転送するために、下位特徴合成（LFS）と呼ばれる新しいモジュールを導入した。これらの改善により、DeepRFTの約半分のFLOPとパラメータ数にもかかわらず、GoProデータセットでPSNRが32.98dB向上した。
デブラー以外の研究テーマでも従来法に比べ大幅な性能向上を達成しており、予定していた研究課題に対して予定以上の成果が得られた。
|
