ウエアラブルメディアによる長期間体験映像記録と自動的な要約の生成

2001 年度 実績報告書

• 研究課題/領域番号: 13875071
• 研究種目: 萌芽的研究
• 研究機関: 東京大学
• 研究代表者: 相澤 清晴 東京大学, 大学院・新領域創成科学研究科, 教授 (20192453)
• キーワード: ウエアラブルコンピューティング / 映像検索 / マルチメディア / 脳波 / 映像構造化 / 映像要約

研究概要

「極めて長期間の個人体験映像をそのまま記録したい」というのが本研究の動機である。カメラやコンピュータの小型化が進み、ウエアラブルコンピュータといった究極の個人情報処理環境も出現している。また、記録装置の高密度化、小型化もすすみ、大量の情報を蓄積できるようになってきている。いずれは小型カメラをつけ、見たままの映像をその人の視点から記録し長期間に渡って記録し続けることのできる環境が整うことであろう。映像のデータ量は70年分の映像を記録したとしても圧縮レートが64kbps(TV電話品質)で11テラバイト、4Mbps(放送TV晶質)でその64倍にすぎない。この量はまちがいなく近い将来、個人で所有できるデータ量となる。ただし、記録できたとしてもその人にとって必要なところだけを絵日記のように抽出し、再生するにはどうすればよいのかという問題が大きな処理課題として残る。本研究では、この課題への取り組みを行う。なお、このように人生まるまる要約するようなメディアをライフメディアと称したい。今年度の成果を以下に記す。
・個人視点映像敢得のためのウエアラブル撮像機器の構築
カメラ映像、GPS、脳波情報、加速度センサなどウエアラブル機籍をまとめたプラットホームを構築した。
・生理情報を用いた体験映像の格付け手法の確立
比較的長時間の映像データに対して、生理情報、具体的には、先行してすすめている脳波情報を用いることによる興味の度合の評価を行い要約のための手法を確立した。イベントヘの人の脳波の反応は一般的な傾向があり、その傾向を利用した格付け手法を構築した。
・映像と音響情報による個人視点映像の構造化
個人視点映像は、だらだらと連続的に続く映像であり、これを何らかの処理単位へと分割し、ショットを構成したい。映像の客観的な特徴量を用いた分割手法を検討した。

研究成果

• [文献書誌] K.Aizawa, M.Shiina, K.Ishijima: "Can we handle life-long video?"Int. Conf. Media Futures. 239-242 (2001)
• [文献書誌] K.Aizawa, M.Shiina, K.Ishijima: "Summarizing wearable video"IEEE Int. Conf. on Image Processing(ICIP2001). III. 398-401 (2001)
• [文献書誌] Aizawa, M.Shiina, K.Ishijima: "Automatic summarization of wearable video-indexing subjective interest"IEEE Pacific Rim Conference on Multimedia(PCM2001). LNCS2195. 16-25 (2001)
• [文献書誌] 石島, 相澤: "ライフメディア:ウェアラブルによる体験映像の取得と脳波による要約の自動生成"ヒューマンインタフェース学会研究会. 17-24 (2001)
• [文献書誌] 石島, 相澤: "ウエアラブルによる長時間個人体験記録の編集-脳波を利用した映像の自動編集の試み-"電子情報通信学会 パターン認識とメディア理解研究会. 85-92 (2001)