Development of methods for video corpus construction and time series annotation for video scene retrieval

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K12687
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Multimedia database
• Research Institution: Kansai University
• Principal Investigator: Yoshida Soh 関西大学, システム理工学部, 助教 (70780584)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 映像検索 / 映像認識

Outline of Final Research Achievements

We developed methods for supervised video annotation and video scene retrieval based on a corpus constructed from automatically collected learning data from the web. The labels on the corpus are also automatically extracted from the analysis of the web dataset. Furthermore, we developed a reranking method to improve the accuracy of keyword searches to improve the reliability of the training dataset. For developing a video scene retrieval algorithm, we use relevance feedback, which the user can interact with by specifying some example videos from the initial search results. The effectiveness of the proposed methods was confirmed by conducting experiments on the YouTube dataset.

Free Research Field

映像検索

Academic Significance and Societal Importance of the Research Achievements

これまでの映像アノテーションに関する研究は，その内容に応じて専門家がラベルを定義し，手動で収集された映像コーパスを前提としており，アノテーションを行うために必要なラベル及び学習データセットを自動的に取得することが困難であった．それに対して，本研究では，映像内容と関連するラベルを推定し，従来実現困難であった自動構築された映像コーパスを基にアノテーションを行う点，そして，その結果から類似シーンを関連付けて映像検索結果を提示する点が学術的に意義がある．
ユーザが望む映像を的確に提示する技術であり，映像検索の効率化が見込め，インターネットを通じて映像を配信するサービスと柔軟に連携されることが期待できる．