2021 Fiscal Year Research-status Report
Research on rapid and accurate image restoration by fusion of signal processing and deep learning
| Project/Area Number |
20K04472
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
池原 雅章 慶應義塾大学, 理工学部(矢上), 教授 (00212796)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | デブラー / DCT / GAN / CNN |
|---|
| Outline of Annual Research Achievements |
近年、深層学習の研究が急速に発展し様々な分野で用いられ、従来の古典的なアプローチでは到底到達できないような画期的な成果が得られている。本研究課題では、信号処理と深層学習の融合による高速高精度画像復元技術の開発を行うことを目的とする。画像復元とは、ノイズ等の様々な劣化要因により汚れた画像から、元の画像を復元することである。
2021年度は、DCTを用いて高速高精度なデブラー技術の開発を行なった。さらに学習の際大きな動きボケを含むカスタマイズしたデータセットを用いて学習をおこなった。近年、マルチスケールやマルチパッチに基づいたGANベースのCNNが提案されてきたが、大幅な処理時間を必要とした。そこでこれらのマルチスケール、マルチパッチ処理を用いることなく、テクスチャを保存しつつリンギングアーチファクトを低減させるDeblurDCTGANを提案した。ロス関数としてDCTによる周波数領域ロスを定義することにより、ブロックノイズを減らしつつ、高精度なデブラー復元が可能となった。さらに複数のデータベースからボケ関数を推定し、大きなボケを腹部画像を集めてカスタマイズしたデータセットを用意し、提案法で学習することにより、従来法と同等以上の復元精度が得られた。実際に撮影したボケ画像に対しても高精度な復元が可能になったことを確認した。提案法の処理速度は従来法の1/10以下であり、高速高精度なデブラー技術を確立した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究は順調に進んでおり、研究課題に加えて、影除去や高反射除去の研究も行っており、大きな成果が得られている。
|
| Strategy for Future Research Activity |
研究は予定通り進んでおり、デブラーの更なる高精度化高速処理を目指した研究を行なっている。さらに霧や靄を除去するディヘーズの研究も進めている。最終年度は計画通り超解像の研究を行う予定である。従来低解像度化の過程が既知の条件で低解像度化された画像からの超解像の研究が行われており、大きな成果が得られている。しかし低解像度化の過程が異なると、超解像の効果は大幅に劣化する。現実的には低解像度化の過程は不明であり、低解像度画像から先見情報無しに高解像度画像を得ることが望まれる。これはノンブラインド超解像と呼ばれ、さらに困難な問題になる。最終年度はこの問題にチャレンジし、画像の性質を信号処理技術の観点から記述し、CNNの技術と融合し、より高性能な超解像度技術を開発する予定である。
|
| Causes of Carryover |
2021年度はコロナのため、国内国外会議は全てオンライン開催だっため旅費を支出しなかった。今年度はオフラインで会議が開催されれば出席し、開催されなければ研究に不可欠なGPUを購入する予定である。
|
Research Products
(7 results)
