放送映像からの映像知識の獲得とその活用に関する研究

2007 Fiscal Year Annual Research Report

• Project/Area Number: 19500102
• Research Institution: National Institute of Informatics
• Principal Investigator: 孟 洋 National Institute of Informatics, コンテンツ科学研究系, 助教 (60312203)
• Keywords: マルチメディア情報処理 / 映像解析 / 映像情報システム / 映像知識 / 映像セグメント / 概念キーワード

Research Abstract

本研究では、日々絶え間なく提供されている放送映像から、「国会議事堂」とはどのような建物か、「首相」とはどのような人物か、「切る」とはどのような行為かなど、概念を表すキーワードとその概念を説明するような映像の対("映像知識"と呼ぶ)を自動的に獲得する手法、及び映像コンテンツ解析への応用について検討を行うことを目的とする。
平成19年度は、導入したサーバコンピュータとともに、現在までに収集した放送映像データを活用して、映像情報、及び文字情報の解析を実施し、概念キーワードと映像セグメントを取得する方式、ならびに抽出された各情報を対応付ける方式について初期的な検討を行った。
具体的には、ニュース番組を対象に、映像特徴の解析をとおして、ショットを基本単位とした番組構造の抽出、同一ショットや同一オブジェクトに基づく関連構造の抽出などを実施し、対応付けの単位となる映像セグメントの取得を試みた。同時に、番組内容を説明する文字放送テキストの解析をとおして、話題の切り出しと関連付けによる話題構造の抽出、品詞や頻度解析に基づく重要ワードの抽出などを実施し、映像内容を説明する概念キーワードの取得を試みた。また、番組構造と話題構造を活用し、映像セグメントと概念キーワードの出現時間の同一性や共起性の評価をとおして、キーワードと映像の対応関係の抽出を試みた。
本年度は、放送映像の知識化の可能性を見出すまでの予備的な検討にとどまった。成果発表に関しては、更に検討を進めた上で適宜行っていく。