| 研究課題/領域番号 |
16K00247
|
|---|
| 研究機関 | 大阪府立大学 |
|---|
研究代表者 |
岩田 基 大阪府立大学, 工学(系)研究科(研究院), 准教授 (70316008)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2019-03-31
|
| キーワード | 文書画像理解 / 漫画 / コンテンツ解析 |
|---|
| 研究実績の概要 |
交付申請書の「研究の目的」において，本研究にて扱うテーマとして，局所特徴量による解析，深層学習による特徴量抽出ならびに解析，テキストに基づく解析，読者の視点情報に基づく解析の4つを挙げた．
これらのうち，視点情報に基づく解析の成果 "Semi-Automatic Text and Graphics Extraction of Manga Using Eye Tracking Information" を国際会議DAS2016にて発表した．この論文は，視点情報が漫画画像中の台詞テキストや注目領域を抽出するのに有効であることを示している．
漫画中のキャラクターの顔領域を入力として深層学習を適用し，キャラクターの感情識別をする手法の開発も進めたものの，感情ごとに識別精度が大きく異なるという結果であった．しかしながら，キャラクターの感情を顔領域だけでなく，そのキャラクターの台詞テキストも含めて判断することによって，顔が示す感情と台詞が示す感情の不一致なども含めて，より高度なコンテキストを識別できるのではないかと研究を進めている．
さらに，当初の計画では想定していなかったが，E4リストバンドなどのウェアラブルデバイスを用いて，心拍や発汗状況など読者の身体情報を計測して，読者の興味を解析する研究にも着手している．読者ごとに大きく異なる興味の傾向を身体情報によって解析することによって，読者に応じたサービスの提供が可能となるだけでなく，興味の傾向によって差異が生じる視点情報の正規化への利用も期待できる．
研究を推進するために，漫画画像を対象とした研究全般を扱う国際ワークショップMANPU2016を企画し，Program co-Chairとして参加した．このワークショップは，国際会議ICPR2016のサテライトワークショップとして，2016年12月にメキシコのカンクンで開催した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
読者の視点情報に基づく解析：半自動化手法ではあるものの，読者の視点情報に基づいて漫画画像中の台詞テキストや注目領域を抽出することが可能であることを示せた．この手法は，興味の傾向などの読者間の差異を考慮せず，読者の視点情報を統計処理している．E4リストバンドなどのウェアラブルデバイスを用いて読者の興味の傾向を推定する手法を開発したが，興味の傾向の推定精度が読者ごとに大きく異なる結果であったため，どのような要素がそういった差異に関与しているのか調査を進める必要がある．
深層学習による特徴量抽出ならびに解析：漫画キャラクターの顔領域を入力，そのキャラクターの感情を出力として深層学習を適用し，キャラクターの顔領域から感情を推定する手法を開発した．その結果，感情ごとに識別精度が大きく異なることが分かった．この原因の一つには，利用可能なデータの枚数が感情ごとに大きく異なることが挙げられるため，データセットの整備も含めて対処する必要がある．局所特徴量単体に基づいた手法よりは精度が高いことを確認できているが，組み合わせて精度が向上するかはまだ検証できていないため，それについても調査が必要である．
テキストに基づく解析：手始めとして，日本語評価極性辞書を用いて台詞のpositive/negativeを判定し，キャラクターの顔領域を入力とした感情推定結果と組み合わせて，シーンの状況推定に利用できないかを調査した．また，台詞と表情が一致/不一致しているときに表情の描かれ方の違いなどから顔領域を入力とした感情推定に影響がないかについても調査を続けている．
|
| 今後の研究の推進方策 |
読者の視点情報に基づく解析：平成28年度に提案した漫画画像中の台詞テキストや注目領域の推定手法は，複数の読者の視点情報を統計処理するものであった．今後は，心拍や発汗といった読者の身体情報を元に読者の興味の差異を加えて，読者に応じたサービスの提供という観点からの視点情報利用を進める．また，注目を集めている台詞テキストを解析することによって，漫画のどの部分に読者が重点を置いて読んでのかなどを解析し，読者依存の解析を進める．
深層学習による特徴量抽出ならびに解析：漫画の内容（キャラクターの感情や台詞テキストの内容およびストーリー）の解析に深層学習を適用しようとすると，学習に使用できるサンプルの少なさが一番の問題となる．これは深層学習を用いた手法に共通の問題であるため，いくつかのアプローチが考えられている．それらのうち，学習済みの汎用モデルを元にして少数のサンプルで再学習するアプローチと，サンプルに変換を加えてサンプル数を増やすアプローチが本件に有効であると考えられる．平成28年度に用いたサンプルはキャラクターの顔領域であったが，その周辺も含めて揺らぎを許容して入力サンプルを作成すると，サンプル数を機械的に増加させることが可能である．
テキストに基づく解析：平成28年度の成果では，手始めとして台詞に含まれる単語を対象として日本語評価極性辞書を用いて解析したが，この方法では文脈を考慮することができない．今後は，文脈を考慮した解析を導入し，キャラクターの画像特徴や読者の視点情報などと組み合わせて，漫画画像特有の解析に役立てる．
|
| 次年度使用額が生じた理由 |
研究計画に記載していた通り，深層学習のために用いる計算サーバ（1,200千円）を平成28年度に購入する予定であったが，大規模なデータセットを用意できなかったことと，より性能の高いGPUを購入できるのが平成29年度になるという見込みであったことから，平成29年度予算に繰り越すこととした．
|
| 次年度使用額の使用計画 |
平成29年度に，深層学習用のGPUサーバを購入する．
|
