インタモーダル協調とドメイン知識利用による連続メディアのネットワーク型構造化

2000 年度 実績報告書

• 研究課題/領域番号: 11480087
• 研究機関: 大阪大学
• 研究代表者: 馬場口 登 大阪大学, 産業科学研究所, 助教授 (30156541)
• 研究分担者: 柴田 史久 大阪大学, 産業科学研究所, 助手 (80314425) ; 大原 剛三 大阪大学, 産業科学研究所, 助手 (30294127) ; 北橋 忠宏 大阪大学, 産業科学研究所, 教授 (70029453)
• キーワード: 連続メディア / 映像メディア / マルチメディア / 構造化 / インタモーダル協調 / 映像要約 / 内容解析

研究概要

本研究では、連続メディア構造化のための要素理論の整備、連続メディアの解析法の開発、構造化のための知識ベース構築、について考察する。ここでは、連続メディアの具体的対象として、放送型スポーツ映像(生中継のスポーツ番組)を取り上げ、具体的な考察を行った。本年度の具体的な研究成果は以下の通りである。
1)インタモーダル協調による人物・アクション・イベントの抽出:映像ストリームに含まれる言(テキスト)情報である字幕ストリームに対して、キーワードの出現解析と文単位の意味解析を行い、人物・アクション・イベントの情報を抽出するとともに、映像ストリームに出現する特徴的なショットから得られる試合の進行状況に関する情報を統合する新しい手法を提案し、映像ストリームと字幕ストリームを結果を協調的に統合する手法が単独の場合よりも優れていることを実験的に検証した。
2)映像ストリームにおけるライブ部とリプレイ部の検出と対応付け:連続メディアの構造化への一アプローチとして、同一イベントを表すと考えられる映像中のライブ部とリプレイ部の対応付け法を検討した。スポーツ中継特有の知識として、リプレイ部がディジタルビデオ効果(DVE)と呼ばれる特殊なショット切替えを伴うことに着目し、DVEの色と動き情報に基づく手法を実装し、再現率・適合率とも95%を越える精度を得た。またリプレイ部検出後、それに対応するライブ部を画像の色・線特徴に基づき検出する手法の基礎検討を行った。
3)放送型スポーツ映像の自動要約生成:試合の内容に立脚して、ハイライト部分を組織的に抽出する手法を考案し、得られたハイライト部の重要性と個人の選好を反映させ、要約映像を自動生成する手法を提案した。人間が編集した要約映像と比較することにより、提案手法の特性を詳しく調べた。

研究成果

• [文献書誌] N.Babaguchi: "Towards Abstracting Sports Video by Highlights"Proc. IEEE International Conference on Multimedia and Expo(ICME2000). 1519-1522 (2000)
• [文献書誌] N.Nitta,N.Babaguchi et al.: "Extracting Actors, Actions and Events from Sports Video - A Fundamental Approach to Story Tracking"Proc. 15th International Conference on Pattern Recognition (15th ICPR). 4. 718-721 (2000)
• [文献書誌] 馬場口登: "インターモーダル協調による放送型スポーツ映像の構造化と要約生成[招待講演]"人工知能学会研究会資料(情報統合研究会). SIG-CII-NOV-7. 26-34 (2000)
• [文献書誌] N.Babaguchi et al.: "Linking Live and Replay Scenes in Broadcasted Sports Video"Proc. ACM Multimedia 2000 Worshop on Multimedia Information Retrieval(MIR2000). 205-208 (2000)
• [文献書誌] 河合吉彦,馬場口登,ほか: "放送型スポーツ映像におけるディジタルビデオ効果に着目したリプレイシーン検出の一手法"電子情報通信学会論文誌. J84-D-II. 432-435 (2001)
• [文献書誌] 河合吉彦,馬場口登,ほか: "個人適応を指向したスポーツ要約映像の生成法"電子情報通信学会技術研究報告. PRMU2000-171. 83-90 (2001)