ホームビデオ、ウエアラブルビデオの要約処理に関する研究:体験映像の超圧縮

2003 年度 実績報告書

• 研究課題/領域番号: 15360201
• 研究機関: 東京大学
• 研究代表者: 相澤 清晴 東京大学, 大学院・新領域創成科学研究科, 教授 (20192453)
• 研究分担者: 久保田 彰 東京大学, 大学院・新領域創成科学研究科, 特別研究員(PD)
• キーワード: 映像検索 / ウエアラブル / コンテキスト / GPS / 体験情報処理 / 体験の取得

研究概要

研究の目的デジタルビデオやコンピュータ環境が大きく進展しホームビデオに代表されるように個人の体験をデジタル映像として記録することが極めて簡単にできるようになった。蓄積媒体容量も拡大が著しく、個人が大容量の映像データを扱えるようになってきている。量的な拡大が著しく進む一方、それらを扱うための技術はまだとても未熟な状態にある。ホームビデオを何十巻と記録しながら、あとから見ることができずにおきっ放しになっているというのは多くの人に共通する問題である。さらに、デバイスの進歩が今後続けば、小型のウエアラブルカメラにより、個人の体験映像を一生に相当するくらい長期間常時記録するという状況も決して夢物語ではない。ウエアラブルカメラで撮像した映像(ウエアラブルビデオと呼ぶことにする)は、ホームビデオ以上に映像を要約処理するための技術が必須となる。
本研究では、個人体験映像を記録したホームビデオ、ウエアラブルビデオを対象にし、その個人にとって重要なところを要約抽出するための基盤技術の研究を行う。本研究は極めて長い時間の映像を短い時間にまとめる超高圧縮につながる技術である。映像検索は大変活発な研究領域であるが、通常動きや色程度の客観的な低レベルな評価指標しか持たない。それに対し、本研究は体験映像の断片断片の重要性の評価を様々な観点から行うアプローチである。以下の研究を行った。
・複合情報を取得するウエアラブルイメージングシステムの構築
ウエアラブルビデオを常時記録するシステムを構築する。カメラ、マイクばかりでなく、位置センサ、動きセンサなどの小型で簡易な個人行動の計測を行うためのセンサも複合的に組み合わせたシステムを構築した。また、Webや文書までも同時に記録し、検索の手がかりとすることができた。ケータイ電話を制御のためのコントローラとして利用することもできる。
・複合センサ情報を用いたウエアラブルビデオのコンテキストに基づくインデクシング
ウエアラブルイメージングシステムにより取得された映像、各種センサ情報、文書画像を用いて、膨大なデータへ効率のよい検索を行うことができた。
・街データベースとの統合利用
街の施設、店のデータが網羅的に記録されているデータベースを用いて、GPSによる位置データを利用して店の名前やジャンルをもとにしたインデクシングを行うことができた。

研究成果

• [文献書誌] 相澤, 石島, 椎名: "ウェアラブル映像の構造化と要約:個人の主観を考慮した要約生成の試み"電子情報通信学会論文誌D-II. J86-D-II, No.6. 807-815 (2003)
• [文献書誌] Y.Sawahata, K.Aizawa: "Indexing of personal video captured by a wearable imaging system"Springer LNCS (CVIR03). LNCS2728. 342-351 (2003)
• [文献書誌] T.Hori, K.Aizawa: "Context-based video retrieval system for the life-log applications"ACM SGMM International Workshop on Multimedia Information Retrieval (MIR03). MIR03. 31-38 (2003)
• [文献書誌] 堀, 相澤: "ライフログビデオのためのコンテキスト推定"電子情報通信学会 画像工学研究会. IE2003-142. 67-72 (2003)
• [文献書誌] 堀, 河崎, 石川, 相澤: "ライフログ応用に向けたコンテキストに基づく映像・データ検索"電子情報通信学会 マルチメディアと仮想環境基礎研究会. MVE. (2004)
• [文献書誌] K.Aizawa: "Context-based video retrieval for life-log applications (invited)"ATR Workshop on Ubiquitous Experience Media (UEM). U#M03. 77-81 (2003)