大規模マルチメディアコーパスによる映像合成に関する研究

Research Project

Project/Area Number	12F02712
Research Category	Grant-in-Aid for JSPS Fellows
Allocation Type	Single-year Grants
Section	外国
Research Field	Media informatics/Database
Research Institution	National Institute of Informatics
Principal Investigator	佐藤真一国立情報学研究所, コンテンツ科学研究系, 教授
Co-Investigator(Kenkyū-buntansha)	POULLOT Sebastien 国立情報学研究所, コンテンツ科学研究系, 外国人特別研究員 POULLOT Sebastien 国立情報学研究所, コンテンツ科学研究系, 外国人特別研究員
Project Period (FY)	2012 – 2013
Project Status	Completed (Fiscal Year 2013)
Budget Amount *help	¥2,300,000 (Direct Cost: ¥2,300,000) Fiscal Year 2013: ¥1,100,000 (Direct Cost: ¥1,100,000) Fiscal Year 2012: ¥1,200,000 (Direct Cost: ¥1,200,000)
Keywords	映像セグメンテーション / 映像解析 / 映像合成 / 映像マイニング / マルチメディアコーパス / セマンティックギャップ / 物体検出 / 動作解析 / イベント解析 / 自然言語処理
Research Abstract	本研究では、自然言語によるシナリオ記述の入力を行い、実際の映像を自動生成する技術の実現を目的とする。本技術により、テキスト情報をより人間に理解しやすい映像へ自動変換するシステム、映像制作者を対象とした簡易版映像の自動生成等の新たな応用の実現が期待できる。また、現在テキストと映像などの視覚情報との間のセマンティックギャップにより映像意味解析や検索などがきわめて困難となっているが、本研究による新たな見方からセマンティックギャップをとらえなおすことにより、セマンティックギャップ克服のためのブレークスルーにつながる可能性が考えられる。本研究では、インターネットや放送映像アーカイブなどから得られる大量の映像コーパスに基づき、テキストからの映像自動生成の実現を目指す。そのため、平成24年度は、大量の映像コーパスから、物体、動作、イベントなどに基づく事例映像データベースの構築を行うための技術について検討した。特に、実際の映像アーカイブ(TRECVIDコンテンツ並びに独自にインターネットより取得した映像)を対象とし、映像中の動作を行っている事物を自動的に高速に抽出し、部品化する技術について検討した。これにより、世界最先端の手法とほぼ同等の品質ながら、きわめて高速な技術を実現した。平成25年度は、これまでの成果を特段に拡張した映像マイニング技術についての検討を開始しており、大量の映像アーカイブ中に頻出する事物を自動検出することにより、さらに品質の高い映像部品化について検討した。本技術により、映像自動生成のために有用な情報も抽出可能な映像部品化が実現できる。
Strategy for Future Research Activity	(抄録なし)