| Project/Area Number |
17K00511
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Research Field |
Entertainment and game informatics 1
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
柳澤 秀彰 早稲田大学, 理工学術院, 助教 (60801280)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Project Status |
Completed (Fiscal Year 2019)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2019: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2017: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | マンガ / 自動要約 / 機械学習 / 顔画像検出 / キャラクター検出 / メタデータ / 深層学習 / キャラクター抽出 / コマ抽出 / セリフ抽出 / オブジェクト認識 / クラスタリング / 吹出し抽出 / ディジタルアーカイブズ / 情報システム / 画像 |
|---|
| Outline of Final Research Achievements |
In this study, we developed a method for detecting manga objects and automatically generating manga summaries using deep learning techniques to realize user-driven advanced manga search. We found that our method using Faster R-CNN provides the highest detection accuracy for detecting frames, character faces, speech balloons and texts of metadata. For image summarization, it was found that DBSCAN was effective in clustering the images of the character faces after detection.
Finally, automatic summaries were generated and their effectiveness was confirmed by subjective evaluation experiments. The proposed method was inadequate in terms of satisfaction and information content of the summaries, but the results were satisfactory in terms of comprehension.
|
| Academic Significance and Societal Importance of the Research Achievements |
現在の電子書籍としてのマンガは、その多くが単純な試読ページしか持たず内容把握が容易ではない。しかも多くの電子書籍やマルチメディアデータは、大規模データベースに包含されつつある。そのため、ユーザは所望のマンガに到達することが困難な状況にある。したがって、システムに依存せずにマンガのストーリー把握を可能とするような、エピソード要約や登場キャラクタの提示は、ユーザにとって検索のための重要な情報となる。本研究の成果により、大規模マンガデータから特定のエピソードを検索することが容易になり、自動生成された要約版は電子書籍ユーザにとっての利便性を高める。
|
