人物行動を伝えるための映像文法を用いた知的映像撮影、編集システムの構築

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13224009
• Research Institution: University of Tsukuba
• Principal Investigator: 中村 裕一 筑波大学, 機能工学系, 助教授 (40227947)
• Co-Investigator(Kenkyū-buntansha): 今泉 容子 筑波大学, 文芸・言語学系, 助教授 (40151667)
• Keywords: 知的映像撮影 / 知的映像編集 / マルチメディア / 対話的映像メディア / 人工知能応用 / 映像文法

Research Abstract

本研究では,情報学的な見地から,「効果的に情報を提示するために,どのような映像部品(単語)を用意し,どのような映像編集規則(文法)にしたがって提示すればよいか」という問題を自動化システムを構築しながら実証的に探ることを目的としている.そのために,本年度は,(1)料理や組み立て等の解説(プレゼンテーション)場面を題材とし,(1-a)人間の行動を知的に撮影するカメラマンの機能,(1-b)人間の行動を認識して映像を知的に編集するディレクターの機能,を自動化,(2)人間の行動を伝えるために映画やTV等で用いられている映像撮影,編集の技法の調査,及び,自動化システムへの適用可能性の検討,の2つの観点から研究を行ってきた.
各々,以下のように,順調に研究が進行している.
(1-a)撮影の主対象となる部分を複数のカメラで常に撮影し,いつでも映像として利用できる状態にする自動化撮影システムを構築した.本年は特に,2人以上がシーンに存在する場合のカメラ設定や編集について,実際のシステムを構築しながら探り,簡単なアルゴリズムを提案した.
(1-b)人間の行動(ここではプレゼンテーションを対象)において,重要な意味を持ち,注目する必要がある場面や部分を検出する手法を提案した.注目すべき部分は,時間的・空間的に常に変化するため,「人間の行動(体の動きや発話等)を利用して,もっとも見せたい部分を検出する」ことが重要なポイントである.また,人物が持ち上げた物体などを画像認識により追跡する方法を提案した.
(2)映画やTV等から,テーブルにおける対話シーンの映像構成について調査を行い,数多くのシーンや撮影・編集例が少数の典型的なパターンで代表されることを明らかにした.これらの典型的なパターンを上記システムに組み込むことにより,より効果的な映像を撮影,伝送,蓄積できることを実証していく予定である.

Research Products

• [Publications] 中村, 他4名: "Augmenting Communication in a Shared-Mixed-Reality Space"Proc. Int. Workshop on Pottery Recognition and Understanding. 67-74 (2002)
• [Publications] 伊藤, 尾関, 中村, 大田: "プレゼンテーションにおける手と把持物体の認識と追跡"通信学会ソサエティ大会. (2001)
• [Publications] 里, 北原, 中村, 大田: "複合コミュニティ空間における注目の共有"日本バーチャルリアリティ学会 第6回大会. 235-238 (2001)
• [Publications] 尾関, 伊藤, 中村, 大田: "複合コミュニティ空間における注目の共有"日本バーチャルリアリティ学会 第6回大会. 239-242 (2001)
• [Publications] 村山, 中村, 大田: "Diagram Generation from Tagged Texts Toward Document Navigation"Proc. Int. Conf. on Multimedia and Expo.. 716-719 (2001)
• [Publications] 尾関, 中村, 大田: "Camerawork for Intelligent Video Production"Proc. Int. Conf. on Multimedia and Expo.. 41-44 (2001)