全方位サーベイランス映像の時空間インデキシングによる可視化と要約

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14380163
• Research Institution: Osaka University
• Principal Investigator: 馬場口 登 大阪大学, 大学院・工学研究科, 教授 (30156541)
• Co-Investigator(Kenkyū-buntansha): 柴田 史久 立命館大学, 理工学部, 助教授 (80314425) ; 大原 剛三 大阪大学, 産業科学研究所, 助手 (30294127) ; 八木 康史 大阪大学, 産業科学研究所, 教授 (60231643) ; 山澤 一誠 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (40283931) ; 横矢 直和 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (10252834)
• Keywords: 全方位視覚センサー / サーベイランス映像 / 時空間インデキシング / 可視化 / 映像要約

Research Abstract

本研究では、ある環境に高精細全方位センサを設置し、それから得られる長時間のサーベイランス映像に対して、映像内容の全体構成を時間軸と空間的関係に対応付けて可視化すると共に、重要部からなる映像に自動要約することにより、監視者である人間が見やすい形式で提示する、新しいメディアシステムを構成することを目的とする。この目的のために以下のテーマを考察し、有用な知見を得た。
1)高精細全方位画像に対する処理ツールの整備と環境モデルの生成
ハイビジョンカメラを用いた高解像度全方位センサを導入し、全方位映像から平面透視投影映像、パノラマ映像、ズーム映像などの実時間映像変換ツールを実装した。また、単一センサを配置するという前提の下で、センサを中心とする屋内環境をモデル化した。
2)人物に関連するイベント検出とイベントに基づく時空間インデキシング
フレーム間背景差分によって人物領域を検出するアルゴリズム、並びに全方位画像中の足元座標と頭頂座標に基づき人物位置を推定するアルゴリズムを与えた。また、環境への入出、移動、停留をイベントとして想定し、行動イベントによる時空間インデクシングを実現した。
3)全方位サーベイランス映像の可視化・要約システムの試作と評価
イベントによる時空間インデキシングの利点を生かして、タイムライン、空間マップ、移動速度グラフ、映像可視化の相乗作用によって、ユーザである監視者が環境で生じたイベントを把握しやすい映像メディアシステムを試作した。実際にコンビニ店舗を対象として実験を行った結果、良好な特性を得、実用的環境への応用可能性を示した。

Research Products

• [Publications] 馬場口登, 上原邦昭, 有木康雄: "マルチメディア情報の高次処理"人工知能学会誌. Vol.18,No.3. 307-316 (2003)
• [Publications] 岡本啓嗣, 八杉将伸, 馬場口登: "固定長の時空間画像に基づく映像シーンのクラスタリング"電子情報通信学会論文誌(D-II). Vol.J86-D-II, No.6. 877-885 (2003)
• [Publications] N.Babaguchi, Y.Kawai, T.Ogura, T.Kitahashi: "Personalized Abstraction of Broadcasted American Football Video by Highlight Selection"IEEE Trans. Multimedia. (in press). 13
• [Publications] S.Morita, K.Yamazawa, N.Yokoya: "Networked Video Surveillance Using Multiple Omnidirectional Cameras"Proc. of 2003 IEEE Int. Sympo. on Computational Intelligence in Robotics and Automation (CIRA2003), Kobe. 1245-1250 (2003)
• [Publications] N.Babaguchi, K.Ohara, T.Ogura: "Effect of Personalization on Retrieval and Summarization of Sports Video"Proceedings of Fourth IEEE Pacific-Rim Conference on Multimedia (PCM2003), Singapore. 2B1.3. 5 (2003)
• [Publications] 藤本喜彦, 小原ゆう, 柴田史久, 馬場口登, 八木康史: "店舗内に設置した全方位視覚センサによる顧客の行動解析"情報処理学会研究報告,コンピュータビジョンとイメージメディア. 2004-CVIM-1 42(3). 17-22 (2004)