• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Annual Research Report

マンガ検索のための自動要約生成に関する研究

Research Project

Project/Area Number 25330137
Research InstitutionWaseda University

Principal Investigator

渡辺 裕  早稲田大学, 理工学術院, 教授 (10329154)

Co-Investigator(Kenkyū-buntansha) 石井 大祐  早稲田大学, 理工学術院, 助手 (40581525) [Withdrawn]
Project Period (FY) 2013-04-01 – 2016-03-31
Keywordsマンガ / 顔画像検出 / 機械学習 / 自動要約 / キャラクター抽出 / HOG特徴量 / Deformable Part Model / ロールコミュニティー
Outline of Annual Research Achievements

(1) キャラクター抽出の高精度化:畳み込みニューラルネットワークで画像特徴量学習し、物体検出を行なう手法であるRegions with Convolutional Neural Network Features (R-CNN) のマンガ画像への適用について検討を行なった。その結果 R-CNN は Deformable Part Model (DPM) と同様に、高い精度でキャラクターの検出が可能であることが分かった。また、DPM および R-CNN を用いたマンガキャラクターのマルチビュー顔検出について、複数の横顔モデルと準備する手法の検討を行なった。その結果、Selective Searchを利用したRCNNが最も検出率に優れることがわかった。
(2) コミック自動要約:コミックのストーリーを見出して要約することによって、トレーラーを作成する手法について検討した。提案手法では、映画要約のために提案されたロールコミュニティーモデルを利用した。ロールコミュニティに対する重みを計算することで重要度を判定しトレーラーを作成した。主観評価実験の結果、コミックにおいても登場人物の関係性とその頻出度によってストーリーの本筋を見出すことができた。また従来の「試し読み」よりも少ないページ数で理解しやすいトレーラー作成が可能であることがわかった。
(3) 主要コミックキャラクターの自動抽出:機械学習の際に事前知識なしで主要キャラクターを同定する手法について検討した。主要キャラクターは物語において全ての登場キャラクターの中でも最も登場回数が多いと仮定した。一般的な顔画像抽出器を用いて多くの候補を抽出した後に、Bag-of-Visual-Wordsを用いてベクトル化した候補をk-means法でクラスタリングすることにより、最大クラスターに属する顔画像を主要キャラクターとして抽出する手法を提案した。スコア付与による客観評価実験により、主要キャラクターが効率良く抽出できることがわかった。

Remarks

長尾一輝: "Bag-of-Visual Wordsを用いたコミックにおける主要キャラクター同定",卒業論文 Feb. 2016
野口多紀: "電子コミックにおけるトレーラー生成に関する研究", 卒業論文 Feb. 2016
藤岡恭平: "マンガの自動要約にむけた要約手法の提案", 卒業論文 July 2015

  • Research Products

    (7 results)

All 2016 2015 Other

All Presentation (5 results) Remarks (2 results)

  • [Presentation] マンガキャラクターのマルチビュー顔検出に関する検討2016

    • Author(s)
      柳沢秀彰、渡辺裕
    • Organizer
      電子情報通信学会総合大会D-11-12
    • Place of Presentation
      福岡市・九州大学
    • Year and Date
      2016-03-15 – 2016-03-18
  • [Presentation] コミックにおける主要キャラクター同定の検討2016

    • Author(s)
      長尾一輝、渡辺裕
    • Organizer
      電子情報通信学会総合大会D-21-3
    • Place of Presentation
      福岡市・九州大学
    • Year and Date
      2016-03-15 – 2016-03-18
  • [Presentation] 電子コミックトレーラーの作成手法の検討2016

    • Author(s)
      野口多紀、渡辺裕
    • Organizer
      電子情報通信学会総合大会D-21-4
    • Place of Presentation
      福岡市・九州大学
    • Year and Date
      2016-03-15 – 2016-03-18
  • [Presentation] R-CNNを用いたマンガキャラクター検出に関する一検討2015

    • Author(s)
      柳沢秀彰、渡辺裕
    • Organizer
      映像処理シンポジウム2015(IMPS2015)I-4-12
    • Place of Presentation
      伊豆市・ラフォーレ修善寺
    • Year and Date
      2015-11-18 – 2015-11-20
  • [Presentation] マンガ要約手法に関する一考察2015

    • Author(s)
      藤岡恭平、渡辺裕
    • Organizer
      電子情報通信学会ソサイティ大会A-20-11
    • Place of Presentation
      仙台市・東北大学
    • Year and Date
      2015-09-08 – 2015-09-11
  • [Remarks] 高度マルチメディアシステム研究室論文リスト

    • URL

      http://www.ams.giti.waseda.ac.jp/publication-new.htm

  • [Remarks] MANGARESEARCH.ORG

    • URL

      http://mangaresearch.org/

URL: 

Published: 2017-01-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi