2001 Fiscal Year Annual Research Report
インタモーダル協調とドメイン知識利用による連続メディアのネットワーク型構造化
| Project/Area Number |
11480087
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
馬場口 登 大阪大学, 産業科学研究所, 助教授 (30156541)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
柴田 史久 大阪大学, 産業科学研究所, 助手 (80314425)
大原 剛三 大阪大学, 産業科学研究所, 助手 (30294127)
北橋 忠宏 大阪大学, 産業科学研究所, 教授 (70029453)
|
|---|
| Keywords | 連続メディア / 映像メディア / マルチメディア / 構造化 / インタモーダル協調 / 映像要約 / コンテンツ解析 |
|---|
| Research Abstract |
本年度の研究成果は以下の通りである.
1.インタモーダル協調に基づく映像インデキシング・アノテーション
ネット型構造化記述(イベントネット)のノードを自動作成するため,インタモーダル協調に基づくコンテンツ解析法を具体化した.本研究では特に,音声のトランスクリプト情報であるクローズドキャプション(CC: Closed Caption)を用いて画像ストリームとの対応付け図ることによって,イベントに基づくインデキシング(索引付け),人物・アクション(プレー)情報のアノテーション(注釈付け)の手法を開発した.単一ストリーム解析よりインタモーダル協調の方が,効率性・信頼性の両面で優位であることを実験的に示した.
2.イベント間の関係に基づく映像の構造化
イベントネットのリンクに相当する,イベント間の論理的関係を解析する手法を考察した.本研究では,同一・類似関係に焦点をあて,放送型映像の構成に関する知識と映像特徴の関連性に着目した手法を提案した.具体的にはライブとリプレイの対応付け法を開発した.
3.構造化の応用:映像要約と映像ポータル
構造化記述であるイベントネットから,さらに重要なイベント(ハイライト)を抽出し,映像要約(元となる映像から主要な部分を抽出して,元の映像より短い記述を生成すること)を実現する手法を提案し,数時間のスポーツ映像が数分に圧縮されること,専門家による要約映像とほぼ同等のイベントを含むこと,個人の選好(好きな選手,チーム,イベント)に合致した要約を作成できることを確認した.また,メタデータを含む映像データ集合に対する映像ポータル(マルチメディア情報によりユーザのアクセスを支援するツール)の試作を行い,良好な操作特性を有することを検証した.
|
-
[Publications] 新田直子, 馬場口登, 北橋忠宏: "放送型スポーツ映像の構造を考慮した重要シーンヘの自動アノテーション付け"電子情報通信学会論文誌. J84-D-II, 8. 1838-1847 (2001)
-
[Publications] N.Babaguchi et al.: "Event Based Indexing of Broadcasted Sports Video by Intermodal Collaboration"IEEE Trans. Multimedia. 4,1. (8) (2002)
-
[Publications] N.Babaguchi et al.: "Generation of Personalized Abstract of Sports Video"Proc. IEEE International Conference on Multimedia and Expo (ICME2001). 800-803 (2001)
-
[Publications] Y.Yasugi, N.Babaguchi et al.: "Detection of Identical Events from Broadcasted Sports Video by Comparing Camera Works"Proc. ACM Multimedia 2000 Worshop on Multimedia Information Retrieval (MIR2001). 66-69 (2001)
-
[Publications] F.Nishiue, N.Babaguchi et al.: "Presence Analysis of Players in Broadcasted American Football Video"Proc. 5th Asian Conference on Computer Vision (ACCV2002). 834-839 (2002)
-
[Publications] 馬場口登: "スポーツTV映像の自動要約と検索(招待講演)"日本スポーツ産業学会第10回学会大会,21世紀のスポーツIT. 73-76 (2001)
