2017 Fiscal Year Annual Research Report
大量の映像群からテキストの内容に沿った映像を生成する映像要約手法の開発
| Project/Area Number |
16K16086
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
中島 悠太 大阪大学, データビリティフロンティア機構, 准教授 (70633551)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 映像要約 / 深層学習 / 部分映像検索 / 要約映像の評価 |
|---|
| Outline of Annual Research Achievements |
平成29年度はテキストに基づく要約映像の生成手法の開発に取り組んだ。この手法では、テキストに含まれる名詞と映像中に現れるオブジェクトの検出結果に基づいて映像とテキストの間の類似度を算出する手法をベースに、与えられたテキストと要約映像の類似度を最大化するように要約映像に含まれる映像を選出する。要約映像の評価として、ユーザが実際に提案手法を用いて要約映像を生成し、その結果に対するアンケート調査による主観評価を実施することで提案手法の有用性を確認した。
また、昨年度研究開発を実施したテキストと映像をディープニューラルネットワークを用いて同一空間中に符号化することにより要約映像を生成する手法について、既存の評価指標の問題点を明確化し、新たな評価指標を提案した。既存の評価手法では、人が手作業で生成した要約映像や映像セグメントに対する重要度を正解データとすると作業差ごとのばらつきが大きいなどの問題があった。本研究では、ばらつきを考慮した評価手法を提案しており、論文誌として発表予定である。
加えて、テキストに基づく要約映像の生成においては、長時間の映像からテキストに対応する部分映像を検索・抽出することにより、要約映像に含めるべき映像を抽出することが可能である。そこで、テキストと映像を同一空間中に符号化する手法をベースとして、テキストに対応する部分映像を検索する手法を提案した。この手法では、それぞれの映像フレームに対してクエリとなるテキストとの類似度を算出することにより、部分映像の検索を実現した。本手法自体の有用性の検証のために、映像に関する質疑応答システムを構築した。このシステムでは、映像中に与えられたテキストで記述されるシーンが含まれるかを判定し、回答する。
|
Research Products
(7 results)
