| 研究課題/領域番号 |
25330137
|
|---|
| 研究種目 |
基盤研究(C)
|
| 研究機関 | 早稲田大学 |
|---|
研究代表者 |
渡辺 裕 早稲田大学, 理工学術院, 教授 (10329154)
|
|---|
| 研究分担者 |
石井 大祐 早稲田大学, 理工学術院, 助手 (40581525)
|
|---|
| 研究期間 (年度) |
2013-04-01 – 2016-03-31
|
| キーワード | 顔画像認識 / マンガ画像 / HOG特徴量 / Haar-like特徴量 / Deformable Part Model / キャラクター認識 / 自動要約 |
|---|
| 研究概要 |
研究目的：マンガエピソードの自動要約生成には、登場キャラクターリストの自動生成が必須である。キャラクターの抽出には、その顔画像抽出が最も有効である。したがって、自然画像からの顔画像抽出を目的として開発されてきたハール変換型(Haar-like)の特徴量を、線画像主体で描かれるマンガ画像に対しても動作するように修正・拡張を行い、抽出精度の向上を目指している。
研究方法：キャラクター抽出を目的とした特徴量として、対象をハール変換型(Haar-like)のみに限定せず、勾配ヒストグラム(HOG)を基盤としたDeformable Part Modelなどの最新の手法も線画像に適用してその効果を確認した。また判別にはサポートベクターマシーン(SVM)を用いることとした。
キャラクター抽出には、マンガのキャラクター顔画像を数多く集積したデータセットが必要となる。そこで研究に協力的なマンガ作家の好意により、いくつかのマンガを提供してもらい顔画像（正例）切出し及び不正解画像（負例）切出しを行い、データベース化に向けた作業に入った。
研究成果：1. 勾配ヒストグラム(HOG)特徴量を用いてキャラクター抽出を試みる場合、正例と負例画像の識別の際にキャラクターが含まれる背景画像も抽出性能に影響を与えることが分かった。背景がセリフ入りの吹き出し画像、オノマトペが含まれる画像、それ以外に3分類した場合、オノマトペが背景に存在する場合には、キャラクター抽出への影響は小さいことが分かった。（電子情報通信学会総合大会において発表）
2. 勾配ヒストグラム(HOG)を基盤としたDeformable Part Modelは、顔画像中のいくつかの部分の相対的位置関係を利用するため、ハール変換型(Haar-like)特徴量よりもマンガキャラクターの顔画像抽出精度が高いことが分かった。（IEVC2014に投稿中）
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の研究計画に挙げた2013年度の4項目の研究タスク（1. 初期データセットの作成、2. Haar-like特徴量の改善、3. 教師付き学習、4. データベース/識別器の更新）のうち、項目2及び項目3はほぼ計画通りに研究が実行できた。項目1については、まだデータセットに含まれる画像データ数が不足している。したがって項目4の更新も不十分である。データベース作成は純粋な手作業となるが、作業期間及び人数が不足したことが問題である。最も大きな原因は2013年10月の研究室移転である。移転後は円滑に作業が進み実験を遂行でき、実験結果のまとめを電子情報通信学会総合大会に発表することができた。またDeformable Part Modelを用いたキャラクターの顔画像抽出結果は、今年度中の発表には間に合わなかったが、2014年5月には画像処理関連の国際会議に投稿中である。
項目2の特徴量の改善については、Haar-like特徴量の改善による顔画像抽出精度の向上よりも、新しく検討した勾配ヒストグラム(HOG)を基盤としたDeformable Part Modelによるキャラクターの顔画像検出精度の向上の方がはるかに大きく、今後の研究の進展に大きく寄与すると考えられる。人間の顔画像と異なり、マンガキャラクターの顔画像はディフォルメが激しい場合が多くあり、顔画像内のパーツの相互位置関係を把握する特徴量が有効であると分かったことは計画以上の進展である。
項目3の教師付き学習については、現状では単純はサポートベクターマシーン(SVM)により正例を正解とするように学習させている。しかし、複数の弱判定器を多段に使用するAdaBoostを用いれば、より識別性能が向上すると考えられる。したがって、この項目についての達成度は予定通りであると考える。
|
| 今後の研究の推進方策 |
マンガ顔画像抽出については、顔画像のパーツの相互位置関係を利用するDeformable Part Modelを用いて抽出精度の向上を目指す。また現状では教師付き学習を用いる識別手法として、単純なサポートベクターマシーン(SVM)により正例を正解とするように学習させている。しかし、複数の弱判定器を使用するAdaBoostを用いればより識別性能が向上すると考えられ、複数の特徴量を導入して特性を確かめる予定である。マンガコンテンツに関する研究用データセットについては、継続的に時間と人手をかけて識別データセットの正解例と不正解例を蓄積し、作成作業を進める。
エピソードの自動要約の対象とするマンガに対して顔画像検出を行い、キャラクター画像の分類を行う。分類されたキャラクターは登場人物と捉えることができ、そのグループに属する正解画像は、特定のキャラクターの顔表情の変形とみなすことができる。これらを判断するための識別方法の検討を行う。前段の顔画像検出器は、顔画像であるかどうかを真偽として判断するため、得られた正解顔画像のグルーピングには顔検出時の識別器を用いることができない。そこでグループ化処理のために、正解画像間の類似度を与える特徴量の検討を行う
さらに、登場キャラクターリストの自動生成を行い、顔画像リストを判断基準に加えたマンガエピソードの自動要約を生成し、その有効性を示す。登場キャラクターの顔画像の出現頻度、サイズ、登場順序などの情報を基に、重要性を示す尺度を求める。得られた重要性尺度によって、登場キャラクターのリストを自動生成する。従来のマンガエピソードの自動要約手法で用いられている特徴量（コマ位置、コマサイズ、台詞）などに加えて、コマに対応するキャラクター情報を加えることで、エピソードの自動要約の精度を高める。
|
| 次年度の研究費の使用計画 |
2013年10月の研究室移転のため、什器、ネットワーク設備、ＰＣ 設備などすべての研究室設備を一新することとなった。さらにＰＣ上でのOS再インストールやプログラム設定などで時間を要した。そのため、マンガ画像に含まれる顔画像データセット作成着手時期が遅れ、人件費の消費ペースが遅くなった。データセットは一定量以上の正例及び負例がないと、安定した検出実験データが得られないという問題がある。一方で、データセット作成は人的リソースによる手作業となる。したがってデータセット作成遅延により実験開始時期が遅れ、そのため学会への成果発表時期が遅れた。学会発表の申込みは実際の発表時期より数か月前に設定される。そのため、実験結果が得られた時点では今年度中に発表できる学会（大会など）が非常に限られてしまった。したがって学会発表のための学会参加費及び出張旅費の消費が少なくなった。
2014年度は研究室設備に係る問題は全くなく、データセット作成に速やかに取りかかれる状況にある。したがって、顔画像データセット作成にかかる人件費の消費ペースは予定通りに行える状況にある。またDeformable Part Modelを用いたマンガ顔画像検出手法の研究成果の学会発表については、既に画像処理関連の国際会議に投稿中であり、国際会議参加費及び海外出張旅費の消費が見込まれる。さらに、国際会議への投稿内容を拡大修正してまとめた後に論文として投稿する予定である。ジャーナル論文として掲載するための論文掲載料が必要となるため、その分の経費も消費する予定である。
|
