2017 年度実施状況報告書

ニュース映像アーカイブを活用した主要映像の抽出と映像提示への応用

研究課題

研究課題/領域番号	16K00166
研究機関	国立情報学研究所
研究代表者	孟洋国立情報学研究所, 大学共同利用機関等の部局等, 助教 (60312203)
研究期間 (年度)	2016-04-01 – 2019-03-31
キーワード	マルチメディア情報処理 / 映像解析 / 映像応用システム
研究実績の概要	本研究の目的は、日々放送されているニュース番組を収集し、繰り返し放送される映像、及び同一、継続などの話題構造の情報から、話題の要となる人物や場所、状況などを示す映像要素（画像領域や映像区間）を抽出する手法を検討するとともに、長期間のニュースを様々な視点から概観できるような映像応用システムへの展開を図ることにある。平成29年度は、平成28年度に引き続き、主要な映像要素を抽出するため、特定の期間のニュース番組の映像を対象に、以下の３つの検討を行った。1つ目は、映像情報からの人物などのオブジェクト領域と出現範囲の抽出とともに、同一あるいは類似と判断されるものの出現分布の取得を行い、画像や話題を説明し得るオブジェクト候補の識別を試みた。2つ目は、音声内容がテキスト化された文字情報と放送日時から、話題の発生、継続、分岐、解決の話題構造を求め、話題経過を説明する画像やオブジェクトの選定およびそれらの役割、重要度の判定を試みた。３つ目は、文字情報を活用し、選定された画像やオブジェクトを説明するキーワードの取得について検討した。これらの結果から、話題に基づくニュース番組の再構成、話題を説明する主要な画像およびオブジェクトの選定に基づいた、ニュース番組閲覧システムの試作に着手した。また、予定より大きく遅れているが、映像要素の選択指針の考察、枠組の検証を行うため、話題構造、主要な画像やオブジェクトなどの正解データの作成を開始した。
現在までの達成度 (区分)	現在までの達成度 (区分) 3: やや遅れている理由複数のニュース番組を対象に実験を行うことを予定していたが、各ニュース番組の番組構造の違いの影響が大きく、その整理が十分に行えなかったことから、今年度は特定の番組、特定の期間のみのデータの解析にとどまった。また正解データの作成方針の整理に時間がかかり着手が遅れた。
今後の研究の推進方策	昨年度に引き続き、既存の放送映像アーカイブシステムで蓄積されたニュース映像に対し、映像要素および話題構造の正解データを作成する。人手により、話題単位へ分割し、発生、継続など各話題の関係性を求める。また話題を代表する映像要素の選択、ラベル付けを実施し、その分布状況を整理する。また、映像として繰り返し放送される範囲、同一オブジェクトの存在範囲、動作の連続性などの情報から、映像要素として意味を持つ画像領域、映像区間を決定する手法を検討する。構築したニュース番組閲覧システムと正解データを活用し、本手法の有効性を検証するとともに、映像年表を自動構築するなどの応用システムの開発を行う。
次年度使用額が生じた理由	平成２９年度までに、既存の放送映像アーカイブに蓄積された大量のニュース映像データの解析を実施するための映像特徴計算・照合用サーバ、および実証実験を行うための実験システム用ワークステーションを計上していたが、本年度は昨年度同様に特定期間の映像データの解析の実施にとどまったため、導入を見送った。平成３０年度は、これらのサーバ、ワークステーションを導入し、長期間にわたるニュース映像データを対象とする実システムの開発を行い、実証的に提案手法の検証を行う。