2018 Fiscal Year Annual Research Report
Research on contents analysis of comics images
| Project/Area Number |
16K00247
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
岩田 基 大阪府立大学, 工学(系)研究科(研究院), 准教授 (70316008)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 文書画像理解 / 漫画 / コンテンツ解析 |
|---|
| Outline of Annual Research Achievements |
交付申請書の「研究の目的」において，本研究にて扱うテーマとして，局所特徴量による解析，深層学習による特徴量抽出ならびに解析，テキストに基づく解析，読者の視点情報に基づく解析の4つを挙げた．
これらのうち，H28年度には読者の視点情報に基づく解析の成果を発表し，H29年度には深層学習による特徴量抽出によって漫画のストーリーを記述する特徴量を得る手法を発表した．H30年度では，H29年度に発表した手法をさらに進めたものを国際会議DAS2018にて "Comics Story Representation System Based on Genre" と題して発表した．深層学習による特徴量抽出というカテゴリでは，漫画中のキャラクターの顔ランドマーク（目鼻口，輪郭などの位置情報）を推定する手法の開発し，得られた顔ランドマークを使って口パク動画を作成できることを確認した．
さらに，学習向け漫画などを含む様々なジャンルの漫画を読んでいるときの読者の読書行動（心拍・発汗・姿勢・目の動きなど）を計測した上で興味に関する正解データを提供してもらうことによって，読書行動と読者の興味データを含む小規模なデータセットを作成した．このデータセットに基づいたコンテンツ解析手法については，2019年9月に開催されるGREC2019やHDI2019に投稿予定である．
研究を推進するために，漫画画像を対象とした研究全般を扱う国際ワークショップMANPU2019を企画し，General co-Chairとして参加した．このワークショップは，国際会議MMM2019のサテライトワークショップとして2019年1月にギリシアのテッサロニキにて開催した．
|
