| 研究概要 |
本研究を通して得られた成果を項目ごとにまとめる.
1.インタモーダル協調に基づく映像インデキシング・アノテーション
ネット型構造化記述(イベントネット)のノードを自動作成するため,インタモーダル協調に基づくコンテンツ解析法を具体化した.本研究では特に,テキストストリームと画像ストリームとの対応付け図ることによって,イベントに基づくインデキシング(索引付け),人物・アクション(プレー)情報のアノテーション(注釈付け)の手法を開発した.単一ストリーム解析よりインタモーダル協調の方が,効率性・信頼性の両面で優位であることを実験的に示した.
2.イベント間の関係に基づく映像の構造化
イベントネットのリンクに相当する,イベント間の論理的関係を解析する手法を考察した.本研究では,同一・類似関係に焦点をあて,放送型映像の構成に関する知識と映像特徴の関連性に着目した手法としてライブとリプレイのシーン対応付け法を開発した.
3.構造化の応用:映像要約と映像ポータル
構造化記述であるイベントネットから,さらに重要なイベント(ハイライト)を抽出し,映像要約(元となる映像から主要な部分を抽出して,元の映像より短い記述を生成すること)を実現する手法を提案し,数時間のスポーツ映像が数分に圧縮されること,専門家による要約映像とほぼ同等のイベントを含むこと,個人の選好(好きな選手,チーム,イベント)に合致した要約を作成できることを確認した.また,メタデータを含む映像データ集合に対する映像ポータル(マルチメディア情報によりユーザのアクセスを支援するツール)の試作を行い,良好な操作特性を有することを検証した.
|
