| 研究課題/領域番号 |
23K03842
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分21020:通信工学関連
|
|---|
| 研究機関 | 慶應義塾大学 |
|---|
研究代表者 |
池原 雅章 慶應義塾大学, 理工学部(矢上), 教授 (00212796)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2025年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
|
|---|
| キーワード | 非局所的処理 / 深層学習 / 画像処理 / 画像劣化 / 信号処理 |
|---|
| 研究開始時の研究の概要 |
最新の深層学習のキーワードは非局所的処理である。従来の畳み込みによる処理では局所的な特徴しか捉えられず、画像全体の特徴や一貫性を考慮することができないため、その性能は限界に来ている。画像には類似性がありその性質を利用して非局所的な処理を施すことにより、性能が飛躍的に向上することが知られている。最新の深層学習では、画像処理におけるNLMに相当するトランスフォーマーや非局所的ニューラルネットワークが注目されている。しかしこれらの技術は計算量が膨大で、携帯等で実装するのは不可能である。そこで本研究課題では信号処理で用いられている技術と深層学習を融合して、高速高精度な画像劣化除去技術の研究を行う。
|
| 研究実績の概要 |
研究１年目は、非局所処理を有効に利用した深層学習により以下の研究を行なった。
1) 簡単なU-net構造とFFTconvブロックを使った低照度画像の強調
2) 擬似時間融合ネットワークを用いたビデオの高品質実時間雑音除去
3) U-net構造によるマルチスケール巡回ネットワークを用いた軽量なビデオのボケ除去
これらの中でビデオのデブラリングについて説明する。
近年、スマートフォンやデジタルビデオカメラの普及により、デジタル映像を扱う機会は格段に増えた。しかし、ハードウェアの性能向上とは裏腹に、撮影された映像には映像の目的には必要のない情報が含まれていることが多い。特に、手ぶれや物体の動きなどの要因によって、映像にブレが生じることがある。そこで、撮影後の映像をソフトウェア処理することで、映像のぼけを除去する手法を提案する。従来の手法では、映像の超解像のためのネットワークを用いて映像のぼけ除去を行うことが多い。しかし、超解像では入力画像と出力画像のサイズが異なるのに対し、デブラリングでは入力画像と出力画像は同じサイズである。デブラリングの場合、入力画像は単純なダウンサンプリング処理後にネットワークに入力されるため、入力画像と出力画像が同じサイズに最適化されていない。そこで提案手法では、UNetに基づくマルチスケールネットワークを構築する。ビデオは複数の画像のシーケンスであるため、単一画像のデブラーリングで成功した手法を用いる。さらに、MPRNetの構造に基づいてネットワークに改良を加える。これらの改善により、GoProデータセットにおいて、BasicVSR++のFLOPsの約75%、VRTのFLOPsの3%にもかかわらず、PSNRで34.80dB、SSIMで0.973を達成した。さらにアブレーションを行った結果、提案モデルの様々なコンポーネントの有効性が示された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
計画は当初の予定より大幅に進んでいる。
|
| 今後の研究の推進方策 |
課題２年目の今年度は、非局所的深層学習の利点をより活かした画像の劣化除去アルゴリズムを検討する予定である。雨・雨粒・霧等自然由来の劣化要因によって劣化した画像を、劣化要因を特定することなく全ての劣化入力画像に対してブラインドで劣化要因を除去し、鮮明な画像が得られる多機能ネットワーク構造を検討する予定である。これにより、自動運転や監視カメラ等の安心安全の向上に繋がるものと考えられる。
|
