Degradation removal of images by nonlocal deep learning using signal processing techniques
| Project/Area Number |
23K03842
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21020:Communication and network engineering-related
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
池原 雅章 慶應義塾大学, 理工学部(矢上), 教授 (00212796)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
|
|---|
| Keywords | 非局所的処理 / 深層学習 / 画像処理 / 画像劣化 / 信号処理 |
|---|
| Outline of Research at the Start |
最新の深層学習のキーワードは非局所的処理である。従来の畳み込みによる処理では局所的な特徴しか捉えられず、画像全体の特徴や一貫性を考慮することができないため、その性能は限界に来ている。画像には類似性がありその性質を利用して非局所的な処理を施すことにより、性能が飛躍的に向上することが知られている。最新の深層学習では、画像処理におけるNLMに相当するトランスフォーマーや非局所的ニューラルネットワークが注目されている。しかしこれらの技術は計算量が膨大で、携帯等で実装するのは不可能である。そこで本研究課題では信号処理で用いられている技術と深層学習を融合して、高速高精度な画像劣化除去技術の研究を行う。
|
| Outline of Annual Research Achievements |
研究１年目は、非局所処理を有効に利用した深層学習により以下の研究を行なった。
1) 簡単なU-net構造とFFTconvブロックを使った低照度画像の強調
2) 擬似時間融合ネットワークを用いたビデオの高品質実時間雑音除去
3) U-net構造によるマルチスケール巡回ネットワークを用いた軽量なビデオのボケ除去
これらの中でビデオのデブラリングについて説明する。
近年、スマートフォンやデジタルビデオカメラの普及により、デジタル映像を扱う機会は格段に増えた。しかし、ハードウェアの性能向上とは裏腹に、撮影された映像には映像の目的には必要のない情報が含まれていることが多い。特に、手ぶれや物体の動きなどの要因によって、映像にブレが生じることがある。そこで、撮影後の映像をソフトウェア処理することで、映像のぼけを除去する手法を提案する。従来の手法では、映像の超解像のためのネットワークを用いて映像のぼけ除去を行うことが多い。しかし、超解像では入力画像と出力画像のサイズが異なるのに対し、デブラリングでは入力画像と出力画像は同じサイズである。デブラリングの場合、入力画像は単純なダウンサンプリング処理後にネットワークに入力されるため、入力画像と出力画像が同じサイズに最適化されていない。そこで提案手法では、UNetに基づくマルチスケールネットワークを構築する。ビデオは複数の画像のシーケンスであるため、単一画像のデブラーリングで成功した手法を用いる。さらに、MPRNetの構造に基づいてネットワークに改良を加える。これらの改善により、GoProデータセットにおいて、BasicVSR++のFLOPsの約75%、VRTのFLOPsの3%にもかかわらず、PSNRで34.80dB、SSIMで0.973を達成した。さらにアブレーションを行った結果、提案モデルの様々なコンポーネントの有効性が示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
計画は当初の予定より大幅に進んでいる。
|
| Strategy for Future Research Activity |
課題２年目の今年度は、非局所的深層学習の利点をより活かした画像の劣化除去アルゴリズムを検討する予定である。雨・雨粒・霧等自然由来の劣化要因によって劣化した画像を、劣化要因を特定することなく全ての劣化入力画像に対してブラインドで劣化要因を除去し、鮮明な画像が得られる多機能ネットワーク構造を検討する予定である。これにより、自動運転や監視カメラ等の安心安全の向上に繋がるものと考えられる。
|
Report
(1 results)
Research Products
(8 results)
