• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

Social Sensing Technology Suite based on Object Mining for Large-Scale Video Archives

Research Project

Project/Area Number 26240016
Research InstitutionNational Institute of Informatics

Principal Investigator

佐藤 真一  国立情報学研究所, コンテンツ科学研究系, 教授 (90249938)

Project Period (FY) 2014-06-27 – 2017-03-31
Keywords事物マイニング / 放送映像アーカイブ / 社会センシング基盤
Outline of Annual Research Achievements

本研究では、放送映像において特定の事物(人物、場所、商品、特定の資料映像等)の出現頻度やその時間展開等を解析することにより、社会における様々なイベント(景況、スポーツなどの祭典、災害、事件等)に関連する情報をセンシングする基盤技術について検討を行う。具体的には、大規模放送映像アーカイブから事物を自動検出・同定する事物マイニング技術と、放送映像空間における事物の分布の多面的な分析を可能とする社会センシング基盤技術について検討する。特に事物マイニングは挑戦的な課題であり、大局的整合性判定による高精度かつ飛躍的に高速な手法の実現を目指す。
平成27年度は、事物マイニングのため、大量の画像データから物体検索を可能とするためのインデックス構造を構築し、超高速の物体検索を可能とする識別機適応型量子化(Classifier adaptive quantization)を開発し、10万画像からの物体検索をわずか100msで実現するのに成功した。また、放送映像解析結果を統合し、社会センシングを実現する技術として、ニュース映像から抽出した人物間の関係性をグラフ化し、ニュースの効果的な内容把握を実現するアナリティクスシステム、並びに番組視聴率と放送映像内容解析を統合し、番組資料率の顕著な変化の理由を効果的に解析できる視聴者行動マイニングシステムとを実現した。これらにより、放送映像のスケーラブルな解析技術、並びにそれらに基づく効果的な社会センシングの実現を実証した。

Research Progress Status

28年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

28年度が最終年度であるため、記入しない。

  • Research Products

    (12 results)

All 2017 2016

All Journal Article (5 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 5 results,  Open Access: 1 results) Presentation (7 results) (of which Int'l Joint Research: 7 results)

  • [Journal Article] Efficient Large-Scale Multi-Class Image Classification By Learning Balanced Trees2017

    • Author(s)
      Duy-Dinh Le, Tien-Dung Mai, Thanh Duc Ngo, Duc Anh Duong, Kiem Hoang, and Shin'ichi Satoh
    • Journal Title

      Computer Vision and Image Understanding

      Volume: 156 Pages: 151-161

    • DOI

      10.1016/j.cviu.2016.10.008

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Audience Behavior Mining by Integrating TV Ratings with Multimedia Contents2017

    • Author(s)
      Ryota Hinami and Shin'ichi Satoh
    • Journal Title

      IEEE MultiMedia

      Volume: N/A Pages: N/A

    • Peer Reviewed
  • [Journal Article] Instance Search Retrospective with Focus on TRECVID2017

    • Author(s)
      George Awad, Wessel Kraaij, Paul Over, and Shin'ichi Satoh
    • Journal Title

      International Journal of Multimedia Information Retrieval

      Volume: 6 Pages: 1-29

    • DOI

      10.1007/s13735-017-0121-3

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] When face-tracking meets social networks: a story of politics in news videos2016

    • Author(s)
      Benjamin Renoust, Tetsuro Kobayashi, Thanh Duc Ngo, Duy Dinh Le, and Shin'ichi Satoh
    • Journal Title

      Applied Network Science

      Volume: 1 Pages: 1-25

    • DOI

      10.1007/s41109-016-0003-2

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Visual Analytics of Political Networks from Face-tracking of News Video2016

    • Author(s)
      Benjamin Renoust, Duy-Dinh Le, and Shin'ichi Satoh
    • Journal Title

      IEEE Trans. on Multimedia

      Volume: 18 Pages: 2184-2195

    • DOI

      10.1109/TMM.2016.2614224

    • Peer Reviewed / Int'l Joint Research
  • [Presentation] Audience Behavior Mining by Integrating TV Ratings with Multimedia Contents2016

    • Author(s)
      Ryota Hinami and Shin'ichi Satoh
    • Organizer
      IEEE International Symposium on Multimedia
    • Place of Presentation
      San Jose, USA
    • Year and Date
      2016-12-11 – 2016-12-13
    • Int'l Joint Research
  • [Presentation] Unsupervised Estimation of Video Continuity Model from Large-Scale Video Archives and Its Application to Shot Boundary Detection2016

    • Author(s)
      Norio Katayama, Hiroshi Mo, and Shin'ichi Satoh
    • Organizer
      IEEE International Symposium on Multimedia
    • Place of Presentation
      San Jose, USA
    • Year and Date
      2016-12-11 – 2016-12-13
    • Int'l Joint Research
  • [Presentation] News archive exploration combining face detection and tracking with network visual analytics2016

    • Author(s)
      Benjamin Renoust, Thanh Duc Ngo, Duy-Dinh Le, and Shin'ichi Satoh
    • Organizer
      ACM Multimedia, Demo
    • Place of Presentation
      Amsterdam, the Netherlands
    • Year and Date
      2016-10-15 – 2016-10-19
    • Int'l Joint Research
  • [Presentation] Large-scale R-CNN with Classifier Adaptive Quantization2016

    • Author(s)
      Ryota Hinami and Shin'ichi Satoh
    • Organizer
      European Conference on Computer Vision
    • Place of Presentation
      Amsterdam, the Netherlands
    • Year and Date
      2016-10-08 – 2016-10-16
    • Int'l Joint Research
  • [Presentation] Efficient Large Scale Image Classification via Prediction Score Decomposition2016

    • Author(s)
      Duy-Dinh Le, Tien-Dung Mai, Shin'ichi Satoh, Thanh Duc Ngo, and Duc Anh Duong
    • Organizer
      European Conference on Computer Vision
    • Place of Presentation
      Amsterdam, the Netherlands
    • Year and Date
      2016-10-08 – 2016-10-16
    • Int'l Joint Research
  • [Presentation] Using Node Relationships for Hierarchical Classification2016

    • Author(s)
      Tien-Dung Mai, Thanh Duc Ngo, Duy-Dinh Le, Duc Anh Duong, Kiem Hoang, and Shin'ichi Satoh
    • Organizer
      ICIP
    • Place of Presentation
      Phoenix, USA
    • Year and Date
      2016-09-25 – 2016-09-28
    • Int'l Joint Research
  • [Presentation] Network Visual Analytics of News Videos based on Facetracking2016

    • Author(s)
      Benjamin Renoust, Duy-Dinh Le and Shin'ichi Satoh
    • Organizer
      IEEE PacificVis 2016
    • Place of Presentation
      Taipei, Taiwan
    • Year and Date
      2016-04-19 – 2016-04-22
    • Int'l Joint Research

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi