Video summarization from a set of videos controlled by text input

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K16086
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Perceptual information processing
• Research Institution: Osaka University
• Principal Investigator: Nakashima Yuta 大阪大学, データビリティフロンティア機構, 准教授 (70633551)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 映像要約 / 深層学習 / 畳み込みニューラルネットワーク / 重要領域推定 / 要約映像の評価

Outline of Final Research Achievements

This work aims at automating video editing and establishes techniques for automatically generating a video summary from an original video or a set of them. Generally, a video contains various events occurring in various scenes, and it is not obvious that which events should be included in the resulting video summary. In this work, we considered two approaches for video summarization: One approach determines each frame's importance based on certain types of user input. The other approach attempts to reduce the redundancy in the resulting video summary while covering the content of original video as much as possible. For respective approaches, we proposed video summarization methods and experimentally demonstrated their effectiveness. We also reconsider the evaluation of video summarization method and developed a new method for evaluation.

Free Research Field

パターン認識、コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

近年、スマートフォンやデジタルカメラなどで日々大量の映像が撮影されている。本研究は、このような映像に対して短時間でその内容を閲覧可能な映像要約手法を提案しており、映像閲覧時のユーザの負荷の軽減や送受信される映像サイズの削減などの点で高い有用性を持つと考える。加えて、特に映像要約の評価手法については、広く用いられるデータセットで利用される評価手法の問題点を明確にしているという点において、今後の映像要約の研究に大きな影響を与えるものであり、学術的意義も大きいと考える。