|
2019年度は、キャラクタ顔画像分類の改善およびマンガ要約手法について検討した。これまで得られた研究成果を基にマンガの要約手法を確立するため、画像情報を用いたマンガ要約生成手法を提案し、主観的評価による検証を行った。評価実験では本学の生徒13名を研究補助者として雇用し、要約評価アンケートを実施した。本年度の研究成果として以下の3点が挙げられる。
(1) キャラクタ顔画像のクラスタリングの高精度化を目指して、自己教師あり学習手法であるDeepClusterを組み合わせたCNNの学習について検討した。しかし、DeepClusterを組み合わせると顔画像の分類精度が低下することが分かった。
(2) キャラクタ顔画像クラスタリングの高性能化を目的として、密度ベースのクラスタリング手法であるOPTICSおよびHDBSCANの適用を検討した。DBSCANとOPTICSの比較では、それぞれAMIが最大値をとるようにパラメタを設定した場合において、DBSCANは67.1%、OPTICSは58.7%の精度を示した。
(3) 画像情報を用いたマンガ要約の生成について、主観的評価により有効性の検証を行った。「ランダムにページを抽出した要約(要約A)」、「大きなコマを持つページとその前後ページを抜き出した要約(要約B)」、「キャラクタの初登場シーンに着目した要約(要約C)」、「ロールコミュニティモデルを適用した要約(要約E)」の4手法に対してアンケートによるスコア付与を行った。実験結果からは、総合的な評価では提案手法の優位性は確認できなかった。しかし、特定の作品に対しては評価の高い要約が得られた。また、要約生成の自動化を検討するため、要約Cおよび要約Eについて、キャラクタ検出とキャラクタ顔画像分類を用いて生成した要約(要約D・要約F)との比較を行った。実験では、要約の満足度と情報量に関して自動化によるスコアの低下が見られた一方で、あらすじの理解度に関してはほぼ同等のスコアが得られた。
|
