放送映像アーカイブでの頻出構図のマイニングによる重要ニュースショットの俯瞰的分類

2012 Fiscal Year Research-status Report

• Project/Area Number: 24650043
• Research Institution: National Institute of Informatics
• Principal Investigator: 片山 紀生 国立情報学研究所, コンテンツ科学研究系, 准教授 (60280559)
• Project Period (FY): 2012-04-01 – 2014-03-31
• Keywords: マルチメディア / 放送映像アーカイブ

Research Abstract

本研究の目的は、研究代表者が研究を進めているクロス TV チャンネルフィルタリングによって得られる主要なニュースショットについて、映像の構図に基づく自動分類を可能にすることにある。本研究では、大きく三段階に分けて研究を進めており、第一段階では、ボトムアップなデータマイニング手法によって部分映像特徴を探索し、第二段階では、知識発見手法に基づくトップダウンアプローチによって部分映像特徴を探索する。そして、第三段階ではそれらの結果を統合することによって、ニュースショットの自動分類機構を実現しようとしている。平成２４年度には、本研究の第一段階として、主要ニュースショットから映像特徴および言語特徴を抽出し、それらに対してデータマイニング手法を適用することによって、頻出構図に共通する部分映像特徴の抽出を試みた。本研究が抽出を目指しているのはあくまでも頻出構図の映像特徴であるが、データマイニングの際には映像特徴のみならず言語特徴も使用した。これは、言語特徴の方が被写体や場面を特定する効果が高いため、言語情報を加えることでデータマイニングの精度ならびに効率を高められるからである。映像特徴としては、形状、色分布、空間性を用いた。言語特徴としては、文字字幕(クローズドキャプション)に現れる人名、地名、頻出単語等を使用した。これらの特徴の中から、高頻度に出現し、かつ、空間的な特徴と強い相関を持つ部分映像特徴の抽出を進めた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究は、研究期間を２年間としており、初年度に研究計画の第一段階を、次年度に第二段階と第三段階を行う計画となっており、現状では、当初の計画どおりに研究が進行している。

Strategy for Future Research Activity

平成２５年度には、三つの段階のうちの第二段階と第三段階を実施する計画である。第二段階では、第一段階で実施したボトムアップなアプローチを補う形で、人手で与えられる正負事例や仮説を起点とするトップダウンアプローチでの知識発見手法を適用する計画である。ボトムアップアプローチのみで網羅的に部分映像特徴を検出できるとは限らないため、トップダウンアプローチでの補完が不可欠であると考えている。トップダウンアプローチにおいても映像特徴と言語特徴の双方を利用し、人手で作成した正負事例および仮説について決定木等での機械学習や統計的手法による検定を行うことで部分映像特徴を抽出する計画である。そして、最終段階である第三段階では、第一段階と第二段階で抽出された部分映像特徴に基づいて自動分類機構を実現する計画である。具体的には、まず、抽出された部分映像特徴の中から、評価実験を繰り返すことによって、自動分類に適した特徴を選択する。そして、選び出された部分映像特徴を分類特徴として適用することにより、ニュースショットの自動分類を実現する計画である。

Expenditure Plans for the Next FY Research Funding

平成２５年度の研究費は、主に評価実験を行うための実験環境の整備を目的としており、評価実験用の端末、および、実験補助の謝金に使用する計画である。