大規模放送映像アーカイブマイニングに基づく顔情報の構造化

2010 Fiscal Year Annual Research Report

• Project/Area Number: 22700113
• Research Institution: National Institute of Informatics
• Principal Investigator: 武 小萌 国立情報学研究所, コンテンツ科学研究系, 特任研究員 (20462179)
• Keywords: マルチメディア / 画像、文章、音声等認識

Research Abstract

平成22年度には,東京地区の地上波7チャンネルの放送映像を一日24時間連続で蓄積し続け,平成23年3月までは,1年7か月間以上の大きさを持つ大規模な放送映像アーカイブを構築した.放送を構成したほとんどのテレビ番組を対象に,放送時間帯,番組名,ジャンル,サブジャンル,番組内容等を含む電子番組表(Electronic Program Guide, EPG)を放送メタデータとして収集した.また,実績のある顔検出・追跡に関する手法も同アーカイブへ適用した.顔検出に関しては,コンピュータビジョン向けライブラリOpenCVにも実装されてある,Violaらが提案した正面顔検出器を用いることにした.顔追跡に関しては,われわれのグループ独自の技術である,KLT(Kanade-Lucas-Tomasi)特徴点軌跡解析による顔領域追跡法が既に実現済みであり,これをもとに大規模放送映像アーカイブへの適用を行った.収集した放送メタデータと追跡された顔画像シーケンスに基づいた意味的関連性の抽出,並びに,顔画像シーケンスを対象とした照合手法の放送映像アーカイブへの適用に関して初期的な検討も開始した.一方,顔画像照合を行う際にテレビコマーシャル等の同一映像断片による影響を受ける可能性が考えられ,特にコマーシャル映像を放送映像アーカイブから取り除く必要が高いと認識した.そこで,放送映像からテレビコマーシャルを自動的に検出できる二段時間的共起ハッシュ法を,平成22年8月から平成23年8月までの一年間7チャンネルの放送映像に適用し,コマーシャル映像の自動除去機能を実現した.