トップダウンルール知識とボトムアップ映像処理に基づくスポーツビデオの構造化

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15700105
• Research Institution: Hiroshima City University
• Principal Investigator: 椋木 雅之 広島市立大学, 情報科学部, 助教授 (20283640)
• Keywords: スポーツ映像 / 映像の自動構造化 / MPEG7記述 / 自動カット分割 / Webインターフェース / 映像の規則性 / シーン分割 / 映像インデキシング

Research Abstract

放送映像は,単一のカメラで撮影された映像区間であるショットをつなぎ合わせて構成されている.同一ショット内の映像は時間的,空間的に連続した対象を含んでいるため,映像解析の基本単位として広く用いられている.ショットの切替え点であるカットを自動検出することは,処理の自動化において重要である.カットには,ショットが瞬時に切り替わる「瞬時カット」と,ディゾルブやワイプといった特殊効果を伴って切り替わる「特殊カット」が存在する.本研究で対象とするスポーツ映像では,特殊カットが多用される傾向があるが,その自動検出は困難であった.この問題に対して,
・各種のカットにおける,時間軸方向の画像特徴の変化をモデル化し検出する手法による,カット候補の抽出
・それぞれのカットの種類に特化した検証手法によるカット候補の絞りこみ
という二段階の手法を用いて,カットを検出する手法を開発した.この手法により,従来,スポーツ映像に対しては80%程度とされていたカットの検出精度を90%以上に向上することができた.
つぎに,自動検出したカットを利用して,既に開発済みである「映像の規則性を利用したスポーツ映像の構造化」を行い,構造化結果を得た.これまで,構造化結果は独自の形式で出力していたが,本年度は,MPEG7標準に従った記述の枠組を定め,その枠組に基づいて出力を行うことを可能とした.これにより,本システムでの構造化結果を他のMPEG7対応システムからも汎用的に利用することが可能となった.
さらに,エンドユーザの利用を想定して,構造化結果を一覧し,任意の部分から再生を行えるインターフェースの開発を行った.このインターフェースには,Webブラウザを用いた.これにより,構造化結果をインターネットなどを通じて広く利用する可能性を示せた.