視覚情報とテキスト情報とを統合した映像検索のための映像シソーラスの構築

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15017285
• Research Institution: National Institute of Informatics
• Principal Investigator: 佐藤 真一 国立情報学研究所, ソフトウェア研究系, 助教授 (90249938)
• Co-Investigator(Kenkyū-buntansha): 井手 一郎 国立情報学研究所, ソフトウェア研究系, 助手 (10332157) ; 加藤 弘之 国立情報学研究所, ソフトウェア研究系, 助手 (10321580) ; 孟 洋 国立情報学研究所, ソフトウェア研究系, 助手 (60312203)
• Keywords: 映像インデクシング / 映像マイニング / 映像シソーラス / トピック追跡 / マルチモーダル解析

Research Abstract

本研究では、映像が内在する視覚情報とテキスト情報とを統合した映像検索を実現するための映像シソーラスについて検討する。映像シソーラスにより、テキストと視覚情報の関連性、両者に基づく概念や範疇などの上位構造などが表現され、テキスト・視覚情報を交差する検索(テキストによる視覚情報の検索等)、視覚情報に対するテキストキーワードの自動生成、テキスト・視覚情報の関連による上位概念の発見、テキストに対応した視覚情報を用いた画像認識手法による物体検出オントロジーの実現等が期待される。映像シソーラスの構築においては、実際の放送映像の大規模な映像アーカイブを利用した統計的な手法による自動構築法の実現を予定しており、ドメインを限らない一般の映像にも適用可能で、ロバストな手法の実現を目指す.
平成15年度は、映像の視覚情報については、大規模放送映像アーカイブに対し映像断片照合を適用し、頻出する映像断片を映像キーワードとして抽出すると同時に、その出現パターンに基づく映像ブラウザを試作した。テキスト情報については、ニュ-ス映像の文字字幕放送に対しトピックの切り出し及びニュース映像アーカイブ中でのトピック追跡を行い、トピック構造に基づくニュース映像ブラウザを試作した。また、映像キーワード及びテキストキーワードの抽出結果を受けて、それらの共起関係に基づき、初期的な映像シソーラス構築の実験を行った。これらを通して、本研究の有効性を確認した。

Research Products

• [Publications] Hiroshi Mo: "Subject Region Segmentation in Disparity Maps for Image Retrieval"Systems and Computers in Japan. 35-1. 47-57 (2004)
• [Publications] 瀧本政雄: "フラッシュパターンに基づく映像照合手法"情報技術レターズ,第二回情報科学技術フォーラム(FIT2003). 177-179 (2003)
• [Publications] Ichiro Ide: "Topic threading for structuring a large-scale news video archive"Proc.of International Conference on Image and Video Retrieval (CIVR2004). (2004)
• [Publications] Shin'ichi Satoh: "Generalized Histogram : Empirical Optimization of Low Dimensional Features for Image Matching"Proc.of European Conference on Computer Vision (ECCV2004). (2004)
• [Publications] Ichiro IDE: "Topic-based inter-video structuring of a large-scale news video corpus"International Conference on Multimedia and Expo (ICME2003). (2003)
• [Publications] Shin'ichi Satoh: "Chapter 27, "Indexing Video Archives : Analyzing, Organizing, and Searching Video Information," in Borko Furht and Oge Marques eds., "Handbook of Video Databases,""CRC Press, Boca Ratton, Florida. 1211(28) (2003)