大量の映像群からテキストの内容に沿った映像を生成する映像要約手法の開発

2018 年度 研究成果報告書

• 研究課題/領域番号: 16K16086
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: 知覚情報処理
• 研究機関: 大阪大学
• 研究代表者: 中島 悠太 大阪大学, データビリティフロンティア機構, 准教授 (70633551)
• 研究期間 (年度): 2016-04-01 – 2019-03-31
• キーワード: 映像要約 / 深層学習 / 畳み込みニューラルネットワーク / 重要領域推定 / 要約映像の評価

研究成果の概要

映像編集の自動化を目的として、映像からその要約映像生成する技術を構築することを目標とする。映像には様々なシーンにおける様々な粒度のイベントが含まれており、どのイベントを要約映像に含めるかは、映像要約の応用先によって異なる。本研究では、ユーザからの入力などによって映像に含まれるフレームの重要度を決定するものと、意味内容をなるべくカバーしつつ冗長性を低減させるものの二つのアプローチを考え、それぞれの手法を提案し、その有用性について実験的に示した。また、映像要約の評価手法についても検討を進め、新たな評価手法を提案した。

自由記述の分野

パターン認識、コンピュータビジョン

研究成果の学術的意義や社会的意義

近年、スマートフォンやデジタルカメラなどで日々大量の映像が撮影されている。本研究は、このような映像に対して短時間でその内容を閲覧可能な映像要約手法を提案しており、映像閲覧時のユーザの負荷の軽減や送受信される映像サイズの削減などの点で高い有用性を持つと考える。加えて、特に映像要約の評価手法については、広く用いられるデータセットで利用される評価手法の問題点を明確にしているという点において、今後の映像要約の研究に大きな影響を与えるものであり、学術的意義も大きいと考える。