大規模マルチメディアコーパスによる映像合成に関する研究

2012 Fiscal Year Annual Research Report

• Project/Area Number: 12F02712
• Research Institution: National Institute of Informatics
• Principal Investigator: 佐藤 真一 国立情報学研究所, コンテンツ科学研究系, 教授
• Co-Investigator(Kenkyū-buntansha): POULLOT Sebastien 国立情報学研究所, コンテンツ科学研究系, 外国人特別研究員
• Keywords: マルチメディアコーパス / 映像合成 / セマンティックギャップ / 物体検出 / 動作解析 / イベント解析 / 自然言語処理

Research Abstract

近年、インターネットの普及により、大量の映像が利用可能となっている。例えば、YouTubeでは、毎分72時間の映像がアップロードされ、毎月延べ40臆時間の映像が試聴されている。一般利用者による映像制作が一般化しているが、その制作はまだ困難である。そこで本研究では、自然言語により映像制作を容易に実現可能とする技術の実現を目的とする。
本研究では、自然言語によるシナリオ記述を入力とし、これを具現化する実際の映像を自動生成する技術の実現を目的とする。本技術により、テキスト情報をより人間に理解しやすい映像に自動変換するシステム、映像制作者のための簡易版映像の自動生成等の新たな応用の実現が期待できる。また、現在テキストと映像などの視覚情報との間のセマンティックギャップのために映像意味解析や検索などがきわめて困難となっているが、本研究による新たな見方からセマンティックギャップをとらえなおすことにより、セマンティックギャップ克服のためのブレークスルーにつながる可能性が考えられる。
本研究では、インターネットや放送映像アーカイブなどから得られる大量の映像コーパスに基づき、テキストからの映像自動生成の実現を目指す。そのため、平成24年度は、大量の映像コーパスから、物体、動作、イベントなどに基づく事例映像データベースの構築を行う。これは、様々な物体種別、動作種別、イベント種別ごとに、映像コーパス中の対応する映像区間を同定し、これを映像時空間記述子により表現することで実現する。実際のデータベース構築並びに映像時空間記述の方法について検討を行う。特に、映像中の注目物体と背景領域とを高精度・高速に分離する方法を実現し、映像時空間記述子の基本要素の抽出に成功している。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

特に、平成24年度は映像中の注目物体と背景領域とを高精度・高速に分離する方法を実現し、映像時空間記述子の基本要素の抽出に成功している。

Strategy for Future Research Activity

平成25年度は、入力シナリオを自然言語解析技術により分析し、事例映像データベースと照合し、全体として整合性のとれた映像を合成する技術について検討を行う。シナリオ解析、事例映像検索、映像文法に基づく映像生成技術などについて検討を行い、自動映像生成システムを構築する。また、その具体的な応用システムについての検討を行う。