Development of a Deep Learning Framework for Image Weathering

2021 Fiscal Year Final Research Report

• Project/Area Number: 18K18077
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: University of Tsukuba
• Principal Investigator: Satoshi Iizuka 筑波大学, システム情報系, 助教 (30755153)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 経年変化 / 深層学習 / 画像処理

Outline of Final Research Achievements

In order to reproduce the decay of objects in natural images, we worked on developing an image weathering generation method using deep learning. To this end, we constructed a dataset of weathering texture images and trained a deep generative neural network on the texture dataset. This weathering texture generator network is able to generate arbitrary weathering textures such as rust and moss. The users can easily make various weathering images using the proposed method without special knowledge and skills in image processing.

Free Research Field

画像処理

Academic Significance and Societal Importance of the Research Achievements

画像の経年変化の再現技術は，実世界の景観や物体がどのように変化していくかを視覚的かつ直感的に伝えることができるため，都市計画における景観予測やエンターテインメント分野におけるコンテンツ制作など、幅広い応用が期待できる．学術的にも，深層学習を活用して画像の経年劣化を再現する技術はこれまでになく，本研究成果はこのタスクにおける新たなアプローチとして当該研究分野の発展に貢献できると考えられる。