Research on contents analysis of comics images

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K00247
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: Osaka Prefecture University
• Principal Investigator: Iwata Motoi 大阪府立大学, 工学(系)研究科(研究院), 准教授 (70316008)
• Research Collaborator: KISE Koichi ; AUGEREAU Olivier ; DAIKU Yuki
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 文書画像理解 / 漫画 / コンテンツ解析

Outline of Final Research Achievements

The main approaches of this project are the analysis and feature extraction based on deep learning and the analysis based on the eye gaze of readers. In 2016, "Semi-Automatic Text and Graphics Extraction of Manga Using Eye Tracking Information" was proposed in the international conference DAS2016. This method analyses texts (speech balloons) and graphics (characters etc.). In 2017, "Comic story analysis based on genre classification" was proposed in the international workshop MANPU2017. This method extracts story features as the sequence of genre, which is corresponding to the sequence of comics pages. In 2018, "Comics Story Representation System Based on Genre" was proposed in the international conference DAS2018. This method is advanced version of the method proposed in MANPU2017, where it has less limitation compared with the previous one. Moreover, "Depth Estimation of Panel Image for Stereoscopic Display of Comics" was proposed in the domestic symposium HCG Symposium 2018.

Free Research Field

知能情報学

Academic Significance and Societal Importance of the Research Achievements

本研究成果における学術的意義として，読者の視点情報に基づいて漫画画像中のテキスト情報やグラフィック情報を解析できることを示したことが挙げられる．さらに，漫画のストーリーを特徴量として定量化したことも挙げられる．これらの成果を実社会で活用するためには本を読むときの視点情報を計測する必要があるが，パソコン上であれば安価なアイトラッカーで実現できることを確認している．現在，読書に用いられる端末としてはスマートフォンも普及している．スマートフォン上での視点情報の推定手法も研究されつつあり，機器の性能向上などによって視点情報をアイトラッカーと同程度の精度で計測できれば，本成果を広く適用できるようになる．