• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of methods for video corpus construction and time series annotation for video scene retrieval

Research Project

Project/Area Number 17K12687
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeMulti-year Fund
Research Field Multimedia database
Research InstitutionKansai University

Principal Investigator

Yoshida Soh  関西大学, システム理工学部, 助教 (70780584)

Project Period (FY) 2017-04-01 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2019: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2017: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Keywords映像検索 / 映像認識 / 弱教師あり学習 / 機械学習 / アノテーション
Outline of Final Research Achievements

We developed methods for supervised video annotation and video scene retrieval based on a corpus constructed from automatically collected learning data from the web. The labels on the corpus are also automatically extracted from the analysis of the web dataset. Furthermore, we developed a reranking method to improve the accuracy of keyword searches to improve the reliability of the training dataset. For developing a video scene retrieval algorithm, we use relevance feedback, which the user can interact with by specifying some example videos from the initial search results. The effectiveness of the proposed methods was confirmed by conducting experiments on the YouTube dataset.

Academic Significance and Societal Importance of the Research Achievements

これまでの映像アノテーションに関する研究は,その内容に応じて専門家がラベルを定義し,手動で収集された映像コーパスを前提としており,アノテーションを行うために必要なラベル及び学習データセットを自動的に取得することが困難であった.それに対して,本研究では,映像内容と関連するラベルを推定し,従来実現困難であった自動構築された映像コーパスを基にアノテーションを行う点,そして,その結果から類似シーンを関連付けて映像検索結果を提示する点が学術的に意義がある.
ユーザが望む映像を的確に提示する技術であり,映像検索の効率化が見込め,インターネットを通じて映像を配信するサービスと柔軟に連携されることが期待できる.

Report

(4 results)
  • 2019 Annual Research Report   Final Research Report ( PDF )
  • 2018 Research-status Report
  • 2017 Research-status Report
  • Research Products

    (15 results)

All 2019 2018 2017

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (13 results) (of which Int'l Joint Research: 5 results)

  • [Journal Article] Video Search Reranking with Relevance Feedback Using Visual and Textual Similarities2019

    • Author(s)
      FUJII Takamasa, YOSHIDA Soh, MUNEYASU Mitsuji
    • Journal Title

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: E102.A Issue: 12 Pages: 1900-1909

    • DOI

      10.1587/transfun.E102.A.1900

    • NAID

      130007754156

    • ISSN
      0916-8508, 1745-1337
    • Year and Date
      2019-12-01
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Graph-Based Video Search Reranking with Local and Global Consistency Analysis2018

    • Author(s)
      S. Yoshida, T. Ogawa, M. Haseyama, and M. Muneyasu
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E101-D

    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] Tag-based Video Retrieval with Social Tag Relevance Learning2019

    • Author(s)
      TAKEDA Hiroshi, YOSHIDA Soh, MUNEYASU Mitsuji
    • Organizer
      2019 IEEE 8th Global Conference on Consumer Electronics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Graph-based Video Visual Reranking Method via Heterogenous Graph Analysis2019

    • Author(s)
      YOSHIDA Soh, MUNEYASU Mitsuji
    • Organizer
      2019 International Workshop on Smart Info-Media Systems in Asia
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 誤ラベルを含む教師データを用いたCNNによる画像認識2019

    • Author(s)
      武田 啓志, 吉田 壮,棟安 実治
    • Organizer
      電子情報通信学会技術報告,スマートインフォメディアシステム研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Video Retrieval by Reranking and Relevance Feedback with Tag-Based Similarity2018

    • Author(s)
      T. Fujii, S. Yoshida, and M. Muneyasu
    • Organizer
      2018 IEEE 7th Global Conference on Consumer Electronics
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] Video Search Reranking on Multi-Layer Graphs Based on Combination of Video Features Using Subspace Analysis2018

    • Author(s)
      S. Yoshida, and M. Muneyasu
    • Organizer
      2018 International Workshop on Smart Info-Media Systems in Asia
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] コンテンツの類似度に基づいた動画共有サイトで付与されたタグのランキング手法2018

    • Author(s)
      吉田 壮,棟安 実治
    • Organizer
      電子情報通信学会スマートインフォメディアシステム研究会
    • Related Report
      2018 Research-status Report
  • [Presentation] マルチタグによるコンテンツ表現を考慮した映像のリランキング手法2018

    • Author(s)
      藤井 孝匡, 吉田 壮,棟安 実治
    • Organizer
      電子情報通信学会スマートインフォメディアシステム研究会
    • Related Report
      2018 Research-status Report
  • [Presentation] タグベクトル表現を用いたWeb映像検索結果のリランキング2018

    • Author(s)
      藤井 孝匡, 吉田 壮,棟安 実治
    • Organizer
      スマートインフォメディアシステム研究会
    • Related Report
      2018 Research-status Report
  • [Presentation] 異種メタデータを用いたグラフベースソフトクラスタリングに基づくWeb映像リランキング2018

    • Author(s)
      吉田 壮,棟安 実治
    • Organizer
      電子情報通信学会スマートインフォメディアシステム研究会
    • Related Report
      2018 Research-status Report
  • [Presentation] マルチレイヤグラフを用いた映像特徴の統合に基づく映像検索手法の精度向上2018

    • Author(s)
      吉田 壮,中村健太郎,棟安 実治
    • Organizer
      電気学会研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] Feedback Assisted Multi-Modality Reranking for Web Video Search2017

    • Author(s)
      T. Fujii, S. Yoshida, and M. Muneyasu
    • Organizer
      2017 International Workshop on Smart Info-Media Systems in Asia (SISA 2017)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] Web Video Search Reranking using a Heterogeneous Graph-Based Soft Clustering Approach2017

    • Author(s)
      吉田 壮,小川 貴弘,長谷山美紀,棟安 実治
    • Organizer
      画像の認識・理解シンポジウム (MIRU2017)
    • Related Report
      2017 Research-status Report
  • [Presentation] ユーザフィードバックを利用したコンテンツの適合性に基づく映像検索2017

    • Author(s)
      藤井 孝匡, 吉田 壮,棟安 実治
    • Organizer
      電子情報通信学会ソサイエティ大会,
    • Related Report
      2017 Research-status Report

URL: 

Published: 2017-04-28   Modified: 2021-02-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi