ウエアラブルメディアによる長期間体験映像記録と自動的な要約の生成

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13875071
• Research Institution: The University of Tokyo
• Principal Investigator: 相澤 清晴 東京大学, 大学院・新領域創成科学研究科, 教授 (20192453)
• Keywords: ウエアラブルコンピューティング / 映像検索 / マルチメディア / 脳波 / 映像構造化 / 映像要約 / GPS / 加速度センサ

Research Abstract

「極めて長期間の個人体験映像をそのまま記録したい」というのが本研究の動機である。カメラやコンピュータの小型化が進み、ウエアラブルコンピュータといった究極の個人情報処理環境も出現している。また、記録装置の高密度化、小型化もすすみ、大量の情報を蓄積できるようになってきている。いずれは小型カメラをつけ、見たままの映像をその人の視点から記録し長期間に渡って記録し続けることのできる環境が整うことであろう。映像のデータ量は70年分の映像を記録したとしても圧縮レートが64kbps(TV電話品質)で11テラバイト、4Mbps(放送TV品質)でその64倍にすぎない。この量はまちがいなく近い将来、個人で所有できるデータ量となる。ただし、記録できたとしてもその人にとって必要なところだけを絵日記のように抽出し、再生するにはどうすればよいのかという問題が大きな処理課題として残る。本研究では、この課題への取り組みを行う。なお、このように人生まるまる要約するようなメディアをライフメディアと称したい。今年度の成果を以下に記す。
・ウエアラブルイメージングシステムの構築
カメラ映像、GPS、脳波情報、加速度センサなどウエアラブル機器をまとめたプラットホームを構築した。
・各種センサ情報を用いた体験映像のインデキシング
比較的長時間の映像データに対して、GPS,動きセンサ、加速度センサなどの情報を用いてユーザの振る舞いを推定し、体験映像へのインデキシングを行った。歩いている、とまっているなどのイベントを検出し、ビューワ上で一覧することができる。これまでに続けてきた脳波情報も者種センサデータと合わせて構築したシステムでは一括して記録することが出来る。
・映像と音響情報による個人視点映像の構造化
個人視点映像は、だらだらと連続的に続く映像であり、これを何らかの処理単位へと分割し、ショットを構成したい。映像の客観的な特徴量を用いた分割手法を検討した。

Research Products

• [Publications] 相澤, 石島, 椎名: "ウェアラブルによる体験映像の取得と脳波による要約の自動生成"電子情報通信学会論文誌D-II. (採録、発表予定). (2003)
• [Publications] Huang Wei Ng, Y.Sawahata, K.Aizawa: "Summarizing wearable videos using support vector machine"IEEE Int.Conf. on Multmedia(ICME2002). (2002)
• [Publications] 澤畠, ウエイ, 相澤: "体験映像要約のためのウエアラブルイメージングシステム"電子情報通信学会 マルチメディア・仮想環境基礎研究会. MVE2002-1 1-VE2002-1 6 (2002)
• [Publications] 澤畠, 相澤: "センサ情報に基づくウエアラブルイメージングシステムのためのイベント検出"ヒューマンインタフェース学会ヒューマンインタフェース研究会. 4.5. 7-12 (2002)
• [Publications] 澤畠, 相澤: "日常記録のためのウエアラブルメディア"電子情報通信学会 パターン認識点メディア理解研究会. PRMU2002-171 13-PRMU2002-171 18 (2003)
• [Publications] D.Zhao, M.R.Luo, K.Aizawa, (Chairs/Editors): "Color Science and Imaging Technologies"SPIE. 212 (2002)