映像データベースにおける意味情報の解析と高次インデックスの作成

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10680343
• Research Institution: Yokohama National University
• Principal Investigator: 有澤 博 横浜国立大学, 工学部, 教授 (10092636)
• Keywords: 映像データベース / マルチメディアデータベース / 時空間データモデリング / 被写体抽出 / 3次元モデリング

Research Abstract

本研究は、映像をデータベース化する際に「何が写っているか」「何を行おうとしているか」などの高次情報を自動抽出し、原データと対応づけてデータベースに格納するシステム作成を目指している。本研究ではまず、2台のVGAカメラによって得られたステレオ映像(2系統のフレーム列)から、あらかじめ指定した物体上の特徴点(たとえば作業者の帽子、目、手袋など)を検出し、かつ左右フレームの視差から空間座標を計算することによって動きの素データを抽出した。さらに、あらかじめわかっている物体の3次元形状(たとえば顔)と上記の特徴点の時系列および原映像(フレーム列)とのあいだでマッチングをとり、最終的には人体各部、道具、背景中の物体などが3次元空間中でどの位置でどのような運動をしているかのモデル化を目指した。実際にはサッカーの試合を複数台のカメラから取り込み、各プレーヤーの動作意図との関わり等を所定のテンプレートから類推することを試みた。そのため、まず競技場全体の中での各プレーヤーの3次元位置を画像間差分を用いて検出し、そのうちから特に重要と思われる幾人かのプレーヤーについては近視点映像を利用した姿勢解析を行い、それらの間の位置・領域変化を時間的にモデル化して、全体としてどのような意図の協調プレーが行われているかを推測した。
以上から原情報のビデオ映像から意味情報を抽出することの具体的な手法を示し、かつスキーマ化してデータベースに蓄積することにより、高度の再検索の可能性を示すことができた。

Research Products

• [Publications] 森嵜 慎之,家富 誠敏 富井 尚志,有沢 博: "マルチメディアデータベースのためのデータ定義ダイアグラム"電子情報通信学会技術研究報告(DE99-37). Vol.99 No.202. 39-44 (1999)
• [Publications] 今井さやか,富井 尚志 有沢 博: "人体データベースにおける運動メディエータの設計"電子情報通信学会技術研究報告(DE99-54). Vol.99 No.202. 267-272 (1999)
• [Publications] T.Tomii,S.Varga,S.Imai,H.Arisawa: "Desin of Video Scene Database with Mapping to Virtual CG Space"Proceedings of 1999 IEEE International Conference on Multimedia Computing & Systems ICMCS '99. 741-746 (1999)
• [Publications] K.Salev,S.Imai,T.Tomii,H.Arisawa: "Modeling and detection of events in factory work simulation system"Proceedings of the Second International Workshop on Intelligent Manufacturing Systems 1999. 641-649 (1999)
• [Publications] 今井 さやか,富井 尚志 有沢 博: "Mediator概念に基づく身体形状・動作のモデル化とデータベース設計"情報処理学会論文誌データベースシステム(TOD5). Vol.41 No.SIG1. 100-108 (2000)
• [Publications] 坂木 和則,今井 さやか 富井 尚志,有沢 博: "多視点映像を用いた時空間オブジェクトの解析とモデリング"電子情報通信学会技術研究報告(第11回データ工学ワークショップ)(掲載予定). (2000)