漫画画像を対象としたコンテンツ解析に関する研究

2018 年度 研究成果報告書

• 研究課題/領域番号: 16K00247
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 研究分野: 知覚情報処理
• 研究機関: 大阪府立大学
• 研究代表者: 岩田 基 大阪府立大学, 工学(系)研究科(研究院), 准教授 (70316008)
• 研究協力者: 黄瀬 浩一 ; オジュロウ オリビエ ; 大工 勇樹
• 研究期間 (年度): 2016-04-01 – 2019-03-31
• キーワード: 文書画像理解 / 漫画 / コンテンツ解析

研究成果の概要

主なアプローチは，深層学習による特徴量抽出ならびに解析と，読者の視点情報に基づく解析である．H28年度には，読者の視点情報に基づいてテキスト（吹き出し）やグラフィック（キャラクターなど）を解析する手法を，国際会議DAS2016にて発表した．H29年度には，深層学習による特徴量抽出によって漫画のストーリーを記述する特徴量を得る手法を，11月の国際ワークショップMANPU2017にて提案した．H30年度には，この発表内容をさらに進めた手法について4月にオーストリアで開催された国際会議DAS2018にて発表した．他にも，コマ画像の奥行推定によって漫画の立体表示を支援する手法を提案した．

自由記述の分野

知能情報学

研究成果の学術的意義や社会的意義

本研究成果における学術的意義として，読者の視点情報に基づいて漫画画像中のテキスト情報やグラフィック情報を解析できることを示したことが挙げられる．さらに，漫画のストーリーを特徴量として定量化したことも挙げられる．これらの成果を実社会で活用するためには本を読むときの視点情報を計測する必要があるが，パソコン上であれば安価なアイトラッカーで実現できることを確認している．現在，読書に用いられる端末としてはスマートフォンも普及している．スマートフォン上での視点情報の推定手法も研究されつつあり，機器の性能向上などによって視点情報をアイトラッカーと同程度の精度で計測できれば，本成果を広く適用できるようになる．