映像の知的構造化による大規模ニュース映像コーパスからの検索・情報発見に関する研究

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13224093
• Research Institution: National Institute of Informatics
• Principal Investigator: 佐藤 真一 国立情報学研究所, ソフトウェア研究系, 助教授 (90249938)
• Co-Investigator(Kenkyū-buntansha): 加藤 弘之 国立情報学研究所, 情報学資源研究センター, 助手 (10321580) ; 孟 洋 国立情報学研究所, ソフトウェア研究系, 助手 (60312203) ; 井手 一郎 国立情報学研究所, ソフトウェア研究系, 助手 (10332157)
• Keywords: ニュース映像 / 映像データベース / 映像検索 / 映像マイニング / 構造化 / 顔画像 / 人名

Research Abstract

本研究では、ニュース映像中を構成する、動画像・主音声(日本語)・副音声(英語)・字幕放送を連日取得・蓄積して研究に供する。本年度中に、これらのデータをのべ約150時間分、導入したハードディスクアレイに蓄積した。
これらのデータに対し、(1)蓄積するためのデータベースの構築、(2)アクセスするためのプログラムライブラリの開発、(3)映像の閲覧のためのインタフェースの開発、(4)映像への索引付けに関する研究、(5)映像の構造化及び分類に関する研究、(6)映像データマイニングに関する研究を行った。
(1)、(2)では、商用データベースシステムOracle上に映像データを蓄積し、それにアクセスするための機構を実現した。(3)では(1)、(2)の機構を利用して、蓄積したデータを容易に閲覧できるようにした。また、字幕放送及び電子番組表と連動させることにより、簡単な検索機能も実現した。これらの実現により、今後研究を遂行するうえで必要となる、映像の管理のために最低限必要な準備ができた。
(4)では、ニュース映像中に出現する人物の名前と顔の画像の対応付けを完全に自動化したシステムを実現した。(5)では、画像特徴量に基づき、ニュース映像を階層的に構造化し、内容に応じて構造化された映像を自動的に分類した。(6)では、ニュース映像中に共起する人物名を抽出することにより、ニュースで話題となっている人物の人間関係に関する知識の抽出及び可視化を行った。また、これらを実現するために必要な基礎的技術として、顔画像の照合に関する研究、移動する人物を追跡する研究、画像中からの繰り返し動作の検出に関する研究も併せて行った。

Research Products

• [Publications] 片山紀生, 佐藤真一: "類似検索のための索引技術"情報処理. 42・10. 958-964 (2001)
• [Publications] Shin'ichi Satoh, Yuichi Idehara, Hiroshi Mo, Takashi Hamada: "Subject region segmentation in disparity maps for image retrieval"Proc. Intl. Conf. on Image Processing (ICIP2001). 2. 725-728 (2001)
• [Publications] Ichiro Ide, Reiko Hamada, Shuichi Sakai, Hidehiko Tanaka: "An attribute based news video indexing"Proc. ACM Multimedia 2001 Workshops -Multimedia Information Retrieval-. 70-73 (2001)
• [Publications] Reiko Hamada, Shin'ichi Satoh, Shuichi Sakai, Hidehiko Tanaka: "Detection of important segments in cooking videos"Proc. IEEE Workshop on Content-based Access of Image and Video Libraries. 118-123 (2001)
• [Publications] 山本光慶, 孟 洋, 佐藤真一, 濱田 喬: "映像中から検出された顔の照合における前処理の検討"2001年電子情報通信学会情報・システムソサイエティ大会講演論文集. 200 (2001)
• [Publications] 于 川, 孟 洋, 佐藤真一, 濱田 喬: "放送映像アーカイブにおけるブラウジング機能の検討"2001年電子情報通信学会情報・システムソサイエティ大会講演論文集. 215 (2001)
• [Publications] 孟 洋, 佐藤真一: "映像特徴の出現パターンの共起性とその利用に関する予備的検討"2001年電子情報通信学会情報・システムソサイエティ大会講演論文集. 216 (2001)
• [Publications] 内海慎久, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "サッカー映像からのオブジェクト抽出・追跡に関する研究"第63回情報処理学会全国大会講演論文集. 2. 57-58 (2001)
• [Publications] 井手一郎, 佐藤真一: "ニュース映像からの人物関係の抽出と索引付けへの利用"第63回情報処理学会全国大会講演論文集. 2. 59-60 (2001)
• [Publications] 浜田玲子, 佐藤真一, 坂井修一, 田中英彦: "料理映像における繰り返し動作検出とその応用"第63回情報処理学会全国大会講演論文集. 2. 63-64 (2001)
• [Publications] 内海慎久, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "色頻度・局所エッジ成分を総合的に用いた物体検出手法とサッカー映像における選手検出への応用"電子情報通信学会パターン認識とメディア理解研究会技術報告. 101・653. 59-66 (2002)
• [Publications] 八木裕司, 内海慎久, 井手一郎, 坂井修一, 田中英彦: "サッカー映像におけるカメラパラメータの推定"第64回情報処理学会全国大会講演論文集. 2(未定). (2002)
• [Publications] 三浦宏一, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "動き検出による料理映像の解析"第64回情報処理学会全国大会講演論文集. 2(未定). (2002)
• [Publications] 内海慎久, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "色情報とエッジ情報を総合的に用いたサッカー画像からの物体検出"第64回情報処理学会全国大会講演論文集. 2(未定). (2002)