1999 Fiscal Year Annual Research Report

インタモーダル協調とドメイン知識利用による連続メディアネットワーク型構造化

Research Project

Project/Area Number	11480087
Research Category	Grant-in-Aid for Scientific Research (B)
Research Institution	Osaka University
Principal Investigator	馬場口登大阪大学, 産業科学研究所, 助教授 (30156541)
Co-Investigator(Kenkyū-buntansha)	柴田史久大阪大学, 産業科学研究所, 助手 (80314425) 大原剛三大阪大学, 産業科学研究所, 助手 (30294127) 北橋忠宏大阪大学, 産業科学研究所, 教授 (70029453)
Keywords	連続メディア / 映像メディア / マルチメディア / 構造化 / インタモーダル協調 / イベント検出 / 内容に基づくインデキシング / 内容解析
Research Abstract	本研究では、連続メディア構造化のための要素理論の整備、連続メディアの解析法の開発、構造化のための知識ベース構築、について考察する。ここでは、連続メディアの具体的対象として、ライブのスポーツ中継のTV・ビデオ番組を取り上げ、具体的な考察を行った。本年度の具体的な研究成果は以下の通りである。 1)画像ストリームの分割とカメラ動き情報の検出:画像ストリームを構造化する際に基本単位となるショット(同一カメラからなる連続フレーム列)への分割法を具体化した。特にスポーツ中継に良く現れる、ディジタルビデオ効果と呼ばれる特殊なショット切替えを精度良く抽出方法を提案した。また、得られた画像ストリームからカメラの3次元的な動きを抽出し、カメラの3次元空間での位置やオブジェクトの移動距離などを自動的に算出する手法の基礎的検討を行った。 2)音声・言語(CC:Closed Caption)ストリーム間の対応付け:各ストリームのセグメント間の対応付けの枠組を考察し、その第一段階としてCCと音声ストリーム間の時間的対応を取る方策を検討した。音声信号からケプストラム法を用いて音素を抽出し、CCの単語の音素系列とDPマッチングによる方法を提案し、実験により動作特性を調べた。 3)インタモーダル協調による連続メディアの内容解析:CCストリームを画像ストリームを検索するためのガイドとして捉えるという発想に基づき、CCストリームからイベント、アクション、プレイヤーを表すキーワード列を抽出し、それらの存在範囲を限定した後、限定領域における画像ストリームを詳細に調べることによって、連続メディアの内容を解析する手法について実験的検討を加え、有効性を確認した。

Research Products
(6 results)

All Other

All Publications (6 results)

[Publications] N.Babaguti et al.: "Detecting Events from Continuous Media by Intermodal Collaboration and Knowledge Use"Proc. IEEE International Conference on Multimedia Computing and Systems(ICMCS'99). 1. 185-188 (1999)
[Publications] 馬場口登: "メディア理解による映像メディアの構造化【特別講演】"電子情報通信学会技術研究報告. PRMU99-42. 39-46 (1999)
[Publications] N.Babaguti et al.: "Event Based Video Indexing by Intermodal Collaboration"Proc.First International Workshop on Multimedia Intelligent Storage and Retrieval Management(MISRM'99). 1-9 (1999)
[Publications] Y.Yasugi,N.Babaguchi et al.: "A Method of Estimating Moving Distance of a Player Group in TV Video of American Football"Proc.4th Asian Conference on Computer Vision(ACCV2000). II. 1192-1199 (2000)
[Publications] 山崎博信,馬場口登,ほか: "ビデオデータにおける音声とクローズドキャプションの同期手法の検討"電子情報通信学会技術研究報告. SP99-157. 33-38 (2000)
[Publications] 新田直子,馬場口登,ほか: "言語と画像の情報統合によるスポーツ映像からの人物・アクションイベントの抽出"電子情報通信学会技術研究報告(掲載予定). PRMU99. (2000)

1999 Fiscal Year Annual Research Report

インタモーダル協調とドメイン知識利用による連続メディアネットワーク型構造化

Principal Investigator

馬場口 登 大阪大学, 産業科学研究所, 助教授 (30156541)

Research Products

[Publications] N.Babaguti et al.: "Detecting Events from Continuous Media by Intermodal Collaboration and Knowledge Use"Proc. IEEE International Conference on Multimedia Computing and Systems(ICMCS'99). 1. 185-188 (1999)

[Publications] 馬場口 登: "メディア理解による映像メディアの構造化【特別講演】"電子情報通信学会技術研究報告. PRMU99-42. 39-46 (1999)

[Publications] N.Babaguti et al.: "Event Based Video Indexing by Intermodal Collaboration"Proc.First International Workshop on Multimedia Intelligent Storage and Retrieval Management(MISRM'99). 1-9 (1999)

[Publications] Y.Yasugi,N.Babaguchi et al.: "A Method of Estimating Moving Distance of a Player Group in TV Video of American Football"Proc.4th Asian Conference on Computer Vision(ACCV2000). II. 1192-1199 (2000)

[Publications] 山崎博信,馬場口登,ほか: "ビデオデータにおける音声とクローズドキャプションの同期手法の検討"電子情報通信学会技術研究報告. SP99-157. 33-38 (2000)

[Publications] 新田直子,馬場口登,ほか: "言語と画像の情報統合によるスポーツ映像からの人物・アクションイベントの抽出"電子情報通信学会技術研究報告(掲載予定). PRMU99. (2000)

馬場口登大阪大学, 産業科学研究所, 助教授 (30156541)

[Publications] 馬場口登: "メディア理解による映像メディアの構造化【特別講演】"電子情報通信学会技術研究報告. PRMU99-42. 39-46 (1999)