Manga Colorization by Data Driven Approaches

2018 Fiscal Year Final Research Report

• Project/Area Number: 17K19963
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Research Field: Information science, computer engineering, and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: Aizawa Kiyoharu 東京大学, 大学院情報理工学系研究科, 教授 (20192453)
• Project Period (FY): 2017-06-30 – 2019-03-31
• Keywords: 漫画 / 画像処理 / データセット / 物体検出 / セリフ検出 / 中割り / フォント / マルチモーダル

Outline of Final Research Achievements

In this study, we addressed two problems. One is a Manga data set, and the other is technical research for Manga focusing colorization. The former consists of 109 volumes, over 20,000 pages, and over 500,000 annotations. The research community can freely use it for academic research. The latter new technology worked on coloring, search and detection. Colorization: We developed a technique of cGAN in which being trained by a single reference image we can colorize the same characters. Search: We developed a sketch based search of comics using deep features trained by two different kind of data. Detection: We showed highly accurate detection of speech texts, frames, character faces and wholes with AUC of 0.92 or more.

Free Research Field

画像処理

Academic Significance and Societal Importance of the Research Achievements

日本の漫画は、世界的に注目され、人気のあるコンテンツである。日本におけるいわゆる電子書籍の市場は前年比25％増と大きな増加をたどっており、コミックがその8割を占めるに至っている。しかし、書籍であったことから、メディア処理の研究対象とされてこなかった。本研究では、この漫画に対して、着色、検索、検出などのメディア処理に関する主導的な研究を行うことができた。
特に、技術的な課題だけでなく、データセットを完成させたことは大きな貢献となった。これは、研究コミュニティで広く利用可能な基盤となり、現時点で、約500のリクエストがあり、うち3分の2は海外からのものである。