2020 Fiscal Year Research-status Report
Research on rapid and accurate image restoration by fusion of signal processing and deep learning
| Project/Area Number |
20K04472
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
池原 雅章 慶應義塾大学, 理工学部(矢上), 教授 (00212796)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 深層学習 / 画像処理 / ディフェンシング |
|---|
| Outline of Annual Research Achievements |
近年、深層学習の研究が急速に発展し、様々な分野で用いられ、従来の古典的なアプローチでは到底到達できないような画期的な成果が得られている。本研究課題では、信号処理と深層学習の融合による高速高精度画像復元技術の開発を行うことを目的とする。画像復元とは、ノイズ等の様々な劣化要因により汚れた画像から、元の画像を復元することである。
2020年度は、画像復元の中でもディフェンシングの問題を中心に扱った。ディフェンシングとは、フェンス越しに物体を撮影した画像に対して、フェンス部分を抽出し、それをある種のインペインティング技術を使って、あたかもフェンスのなかったような画像を復元する技術である。ビデオ等の映像からディフェンスを行う技術は従来にも開発されているが、本課題では１枚の取得済み画像から、先見情報なしに背景画像を復元する技術を開発した。前処理としてフェンスのエッジを検出しやすいようにソベルフィルタとサイズの異なるラプラシアンフィルタを用いて信号処理的に前処理を行い、出力画像を入力画像とコンカットしネットに入力する。実験を行なった結果、かなりの精度でフェンスを表すバイナリーマスクを生成することができた。フェンスには菱形のものと四角形のものの２種類あるが、これを同時に共通のネットワークで検出することは困難であることが分かった。そこでフェンスの形状をラドン変換で検出し、四角形と菱形の２種類のネットワークを個別に学習することにより、全てのフェンス形状に対して対応可能となった。フェンス部分が分かれば、後はインペインティングであり、より処理を高速にするために、直鎖のネットワークを構築してその性能を評価した。さらにGANを使った高精度のインペインティングを用いて、End-to-Endのディフェンシングシステムを構築している。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究は計画通りに進んでおり、研究課題に加えて、動画のフレーム補間に関する研究も進め、大きな成果が得られている。
|
| Strategy for Future Research Activity |
予定通り研究は進んでおり、ディフェンスと並行しながらデブラーの研究を進めている。これらの結果からデータベースの種類によって学習の精度が変化することがわかり、既存のデータベースの画像をカスタマイズすることにより、画像復元の精度を向上させることができ可能性がある。現在はこの点に着目し、より精度の高いディフェンシング、デブラーが実現できるようデーターベースを調整している。
|
| Causes of Carryover |
2020年度はコロナのため、国内国際会議は全てオンライン開催だっため旅費を支出しなかった。今年度はオフラインで会議が開催されれば出席し、開催されなければ研究に不可欠なGPUを購入する予定である。
|
