実映像情報に基づく事例型映像索引付け手法に関する研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13780346
• Research Institution: National Institute of Informatics
• Principal Investigator: 孟 洋 国立情報学研究所, ソフトウェア研究系, 助手 (60312203)
• Keywords: 映像索引付け / 映像解析 / 映像検索

Research Abstract

本研究では、ニュース、スポーツ、ドラマなど実際に放送されている映像に対し、その映像内容をあらわすキーワードの自動的な付与を可能とする映像索引付け手法の設計・開発を行うことを目的としている。平成14年度は、平成13年度に検討を行った、実映像からの獲得情報に基づいて映像索引付けを実現する、事例型映像索引付け手法に従い、実放送映像からの索引付け知識の獲得(事例データベースの作成)、及び映像索引付けシステムのプロトタイプの開発を行った。具体的には、以下のように、映像の構造化をとおして、映像内容をあらわすキーワードと映像から得られる映像特徴の対応関係をデータベース化する手法を中心に検討を行った。
1.平成13年度に引き続き、ニュースなどの実映像、及びそれら映像に付随するテキスト情報(テロップや文字放送等)を自動的に取得するシステムを構築し、索引付け知識のもととなる情報を自動的に収集する環境を整備すると同時に、多量の実放送映像データの収集を行った。
2.映像内容をあらわすキーワードと映像から得られる映像特徴の有効な対応関係を求めるため、収集されたテキスト情報と映像情報の意味的なまとまりを抽出する映像の構造化手法の検討を行い、キーワードと映像特徴の対応関係をデータベース化する手法の検討を行った。
3.データベース化されたキーワードと映像特徴の対応関係を用いて、映像索引付けを実現するプロトタイプシステムを開発した。
平成14年度は、(キーワード-映像特徴)の対応関係を集めた事例データベースの構築、及び映像索引付けを実現するプロトタイプシステムの開発を行ったが、多量の実放送映像データに適用するまでには至っていない。本補助金は平成14年度で終了するが、平成15年度の早い段階で、実放送映像に適用可能なプロトタイプシステムの構築を行い、本手法の有効性を確認する予定である。

Research Products

• [Publications] 孟洋, 佐藤真一: "映像コーパスに基づく映像フィルタリングシステム"画像電子学会第186回研究会講演予稿集. 9-14 (2001)
• [Publications] 孟洋, 佐藤真一: "映像特徴の出現パターンの共起性とその利用に関する予備的検討"電子情報通信学会2001年情報・システムソサイエティ大会講演論文集. 217 (2001)
• [Publications] 片山紀生, 孟洋, 佐藤真一: "映像インデクシング研究のための大規模放送映像アーカイブシステムの試作"情報処理学会研究報告. 02-DBS-127. 17-23 (2002)
• [Publications] I.Ide, H.Mo, N.Katayama, S.Satoh: "Topic-based structuring of a large-scale news video corpus"Proc. IEEE Intl.Conf. on Multimedia and Expo 2003(ICME2003). (2003)
• [Publications] I.Ide, H.Mo, N.Katayama, S.Satoh: "Topic-based structuring of a very large-scale news video corpus"Proc. AAAI 2003 Spring Symposium on Intelligent Multimedia Knowledge Management. (発表予定). (2003)