映像生成のための最適カメラワークとスイッチングに関する研究

2002 年度 実績報告書

• 研究課題/領域番号: 13680456
• 研究機関: 大阪府立大学
• 研究代表者: 福永 邦雄 大阪府立大学, 大学院・工学研究科, 教授 (60081296)
• 研究分担者: 指川 正 毎日放送(株), メディア開発局次長(研究職) ; 小島 篤博 大阪府立大学, 総合情報センター, 助手 (80291607)
• キーワード: コンピュータビジョン / 撮影自動化 / 遠隔講義 / 動作認識 / 動画像処理

研究概要

映像を撮影生成するときのカメラワークならびにスイッチングを自動化するため、講義の撮影自動化ならびに遠隔会議の映像生成を対象として、複数台設置された各カメラのカメラアングル決定方法ならびに最適映像を得るためのカメラ映像のスイッチング方法を提案し、その有効性を明らかにした。
(1)時空間情報発生量に基づく映像の撮影生成
画像中の時間的な動きに基づく時間情報発生量、各フレーム画像における空間情報発生量をまず定義し、これら2つの情報を融合した時空間情報発生量を求める方法を示した。得られた時空間情報発生領域をリアルタイムで求める方法を提案し、この情報発生量が大きい領域を撮影領域とするカメラアングル決定法と複数カメラ映像のスイッチング方法を示した。本手法で得られた映像を聴講者のアンケート方式で評価し、その有効性を明らかにした。
(2)動作認識に基づく映像の撮影生成
映像上の人物領域を抽出し、人物の顔の3次元位置、向きの時間的変化また手の動きをもとに動作を認識する方法を示すとともに、板書なり説明しているときに使用している黒板領域をもとに聴講者が求めるカメラアングルを推定し、映像化する方法を提案した。そして得られた映像について聴講者のアンケート方式で評価し、その有効性を明らかにした。
(3)視聴覚情報に基づく映像の撮影生成
時空間情報量の発生分布ならびに人物の動作認識結果をもとに注目領域を調べると同時に、音声の発生している3次元位置を考慮したカメラアングル決定手法を示し、テレビ会議映像に応用する手法を提案した。

研究成果

• [文献書誌] M.Onishi, T.Kagebayashi, K.Fukunaga: "Production of Video Images by Computer Controlled Cameras and Its Application to TV Conference System"Proc. of IEEE Conference on Computer Vision and Pattern Recognition. Vol.2. II-131-II-137 (2001)
• [文献書誌] A.Kojima, T.Tamura, K.Fukunaga: "Natural Language Description of Human Activities from Video Images Based on Concept Hierarchy of Actions"International Journal of Computer Vision. Vol.50, No.20. 171-184 (2002)
• [文献書誌] A.Kojima, T.Tamura, K.Fukunaga: "Textual Description of Human Activities by Tracking Head and Hand Motions"Proc. 16th International Conference on Pattern Recognition. 4. 102-105 (2002)
• [文献書誌] 大西正輝, 村上昌史, 福永邦雄: "状況理解と映像評価に基づく講義の知的自動撮影"電子情報通信学会論文誌. Vol.J85-D-II, No.4. 594-603 (2002)
• [文献書誌] 大西正輝, 影林岳彦, 福永邦雄: "視聴覚情報の統合による会議映像の自動撮影"電子情報通信学会論文誌. Vol.J85-D-II, No.3. 537-542 (2002)
• [文献書誌] 青木茂樹, 大西正輝, 小島篤博, 福永邦雄: "HMMによる行動パターンの認識"電子情報通信学会論文誌. Vol.J85-D-II, No.7. 1265-1270 (2002)