| 研究課題/領域番号 |
25330137
|
|---|
| 研究機関 | 早稲田大学 |
|---|
研究代表者 |
渡辺 裕 早稲田大学, 理工学術院, 教授 (10329154)
|
|---|
| 研究分担者 |
石井 大祐 早稲田大学, 理工学術院, 助手 (40581525) [辞退]
|
|---|
| 研究期間 (年度) |
2013-04-01 – 2016-03-31
|
| キーワード | マンガ / 顔画像検出 / 機械学習 / 自動要約 / キャラクター抽出 / HOG特徴量 / Deformable Part Model / ロールコミュニティー |
|---|
| 研究実績の概要 |
(1) キャラクター抽出の高精度化：畳み込みニューラルネットワークで画像特徴量学習し、物体検出を行なう手法であるRegions with Convolutional Neural Network Features (R-CNN) のマンガ画像への適用について検討を行なった。その結果 R-CNN は Deformable Part Model (DPM) と同様に、高い精度でキャラクターの検出が可能であることが分かった。また、DPM および R-CNN を用いたマンガキャラクターのマルチビュー顔検出について、複数の横顔モデルと準備する手法の検討を行なった。その結果、Selective Searchを利用したRCNNが最も検出率に優れることがわかった。
(2) コミック自動要約:コミックのストーリーを見出して要約することによって、トレーラーを作成する手法について検討した。提案手法では、映画要約のために提案されたロールコミュニティーモデルを利用した。ロールコミュニティに対する重みを計算することで重要度を判定しトレーラーを作成した。主観評価実験の結果、コミックにおいても登場人物の関係性とその頻出度によってストーリーの本筋を見出すことができた。また従来の「試し読み」よりも少ないページ数で理解しやすいトレーラー作成が可能であることがわかった。
(3) 主要コミックキャラクターの自動抽出:機械学習の際に事前知識なしで主要キャラクターを同定する手法について検討した。主要キャラクターは物語において全ての登場キャラクターの中でも最も登場回数が多いと仮定した。一般的な顔画像抽出器を用いて多くの候補を抽出した後に、Bag-of-Visual-Wordsを用いてベクトル化した候補をk-means法でクラスタリングすることにより、最大クラスターに属する顔画像を主要キャラクターとして抽出する手法を提案した。スコア付与による客観評価実験により、主要キャラクターが効率良く抽出できることがわかった。
|
| 備考 |
長尾一輝: "Bag-of-Visual Wordsを用いたコミックにおける主要キャラクター同定",卒業論文 Feb. 2016
野口多紀: "電子コミックにおけるトレーラー生成に関する研究", 卒業論文 Feb. 2016
藤岡恭平: "マンガの自動要約にむけた要約手法の提案", 卒業論文 July 2015
|
