ディジタル映像の階層的ビデオインデックス化に基づく知的映像検索システムの開発

1998 Fiscal Year Annual Research Report

• Project/Area Number: 09680398
• Research Institution: Kobe University
• Principal Investigator: 上原 邦昭 神戸大学, 都市安全研究センター, 教授 (60160206)
• Keywords: プロトタイプ指向モデル / ビデオデータベース / 内容記述モデル / 知識表現 / 映像検索システム

Research Abstract

デジタル映像を対象とする検索システムが従来のデータベースシステムと大きく異なる点は,(1)検索のための効果的な内容記述方式を開発する必要があること,(2)映像コンテンツ自身による分類や構造化が必要なこと,(3)利用者の主観,視点,嗜好などを反映した感性的な検索や,映像のストーリやキーワードによる高度な意味的な検索が求められていることなどである.
本年度は,前年度に開発した階層的内容記述形式を用いて,柔軟なストーリ検索が可能な知的映像検索システムを開発した.知的映像検索システムは,階層構造の上位レイヤに記述されたストーリを用いたストーリ検索機能,特定の人物の行動,場所,時相に注目した個別属性検索機能,ストーリに対応する映像をすべて表示させるか,もしくは部分的な映像を表示させる選択的映像表示機能,余分な挿話を省略して映像のダイジェストを作成する映像ダイジェスト機能などを有するシステムである.
具体的には,Lehnertの提案したAffect Unitに基づく動画像の内容記述モデルを開発した.本内容記述モデルでは,予め典型的なシーンをプロトタイプとして用意しておき,ボトムアップのアプローチに基づいてストーリの内容記述を行っている.映像データの内容記述モデルでは,ユーザの記述コストが高くなることが問題となるが,本システムでは,プロトタイプを階層構造として管理して,ユーザの労力を軽減するようにしている.さらに,ストーリの内容記述を具体化して,ユーザの主観の差異をできる限り吸収するようにしている.また,本内容記述モデルを用いたシステムをプロトタイプ指向言語AMULETを用いて構築し,具体化についての実験を行った.

Research Products

• [Publications] R.C.Paulin: "Video Description Model based on Prototype-Instance Model" Proc. of 6th International Conference on Database Systems for Advanced Applicatiatons. (印刷中).
• [Publications] M.Kaji: "Organization by Conceptual Clustering of Video-Data based on Semantic Representation" Proc. of 5th Intemational Conference of Foundations of Data Organization. 241-248
• [Publications] 是津耕司: "時刻印付きオーサリンググラフによるビデオ映像のシーン検索" 情報処理学会論文誌. 39. 923-932 (1998)
• [Publications] 上原邦昭: "ストーリを考慮したビデオの内容記述モデル" 情報処理学会論文誌. 39. 943-953 (1998)
• [Publications] R.C.Paulin: "Video Summarization Based on Semantic Representation" Proc. of 1st International Conference on Advanced Multimedia Content Processing. 1-16 (1998)
• [Publications] K.Zettsu: "Semantic Structures for Video Data Indexing" Proc. of 1st International Conference on Advanced Multimedia Content Processing. 361-375 (1998)