2023 Fiscal Year Research-status Report
Degradation removal of images by nonlocal deep learning using signal processing techniques
| Project/Area Number |
23K03842
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
池原 雅章 慶應義塾大学, 理工学部(矢上), 教授 (00212796)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 非局所的処理 / 深層学習 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
研究１年目は、非局所処理を有効に利用した深層学習により以下の研究を行なった。
1) 簡単なU-net構造とFFTconvブロックを使った低照度画像の強調
2) 擬似時間融合ネットワークを用いたビデオの高品質実時間雑音除去
3) U-net構造によるマルチスケール巡回ネットワークを用いた軽量なビデオのボケ除去
これらの中でビデオのデブラリングについて説明する。
近年、スマートフォンやデジタルビデオカメラの普及により、デジタル映像を扱う機会は格段に増えた。しかし、ハードウェアの性能向上とは裏腹に、撮影された映像には映像の目的には必要のない情報が含まれていることが多い。特に、手ぶれや物体の動きなどの要因によって、映像にブレが生じることがある。そこで、撮影後の映像をソフトウェア処理することで、映像のぼけを除去する手法を提案する。従来の手法では、映像の超解像のためのネットワークを用いて映像のぼけ除去を行うことが多い。しかし、超解像では入力画像と出力画像のサイズが異なるのに対し、デブラリングでは入力画像と出力画像は同じサイズである。デブラリングの場合、入力画像は単純なダウンサンプリング処理後にネットワークに入力されるため、入力画像と出力画像が同じサイズに最適化されていない。そこで提案手法では、UNetに基づくマルチスケールネットワークを構築する。ビデオは複数の画像のシーケンスであるため、単一画像のデブラーリングで成功した手法を用いる。さらに、MPRNetの構造に基づいてネットワークに改良を加える。これらの改善により、GoProデータセットにおいて、BasicVSR++のFLOPsの約75%、VRTのFLOPsの3%にもかかわらず、PSNRで34.80dB、SSIMで0.973を達成した。さらにアブレーションを行った結果、提案モデルの様々なコンポーネントの有効性が示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
計画は当初の予定より大幅に進んでいる。
|
| Strategy for Future Research Activity |
課題２年目の今年度は、非局所的深層学習の利点をより活かした画像の劣化除去アルゴリズムを検討する予定である。雨・雨粒・霧等自然由来の劣化要因によって劣化した画像を、劣化要因を特定することなく全ての劣化入力画像に対してブラインドで劣化要因を除去し、鮮明な画像が得られる多機能ネットワーク構造を検討する予定である。これにより、自動運転や監視カメラ等の安心安全の向上に繋がるものと考えられる。
|
| Causes of Carryover |
概ね当初の計画通りの予算消化を行った結果、少額の残金が生じた。
次年度使用計画は、更に計算能力をパワーアップするため、強力なGPUを複数台購入する予定である。
|
Research Products
(8 results)
