Active restoration of modern monochrome photographs with coloring and super-resolution

2020 Fiscal Year Final Research Report

• Project/Area Number: 18K11497
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61060:Kansei informatics-related
• Research Institution: Ibaraki University
• Principal Investigator: UMEZU Nobuyuki 茨城大学, 理工学研究科(工学野), 准教授 (30312771)
• Co-Investigator(Kenkyū-buntansha): 矢内 浩文 茨城大学, 理工学研究科(工学野), 准教授 (10222358)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 深層学習 / オプジェクト認識 / watershed変換 / 輝度保存

Outline of Final Research Achievements

In this study we developed a system for supporting user's coloring work by automatically coloring monochrome images, detecting objects, dividing areas, and presenting coloring samples. Mask R-CNN, a deep-learning based framework, is used for object recognition, and the watershed transform is used for segmentation to generate a mask image that limits the area for coloring. A novel method based on the HSV color space is used to present users with coloring samples. Brightness values, or luminance is the only information in the input monochrome image, and must not be altered in coloring processes. An evaluation index BDPP is defined to numerically compute the difference in brightness between two images. A series of experiments were conducted for evaluating the quality of coloring samples with the proposed method. BDPP found to be a highly convincing index to determine whether the brightness is kept or not through the coloring processes.

Free Research Field

画像処理

Academic Significance and Societal Importance of the Research Achievements

歴史的価値が高い写真にはモノクロのものも多く、近年ではカラー化によるリバイバルが盛んに行われている。手作業による着色は良好な結果が望めるが、専門知識や膨大な時間が必要となるため、作業を簡略化する手法が研究されている。深層学習を用いた自動着色手法が 2016 年に注目を集めたが、着色結果に対してユーザが一切変更を加えられないという問題点があった。本研究のオブジェクトの抽出とその箇所における色候補の提示により、自動着色の結果に対してユーザは容易に調整が可能となった。着色候補からの選択によって、モノクロ画像の着色作業が効率化された。