質問に対して適切な画像・映像を使って答えることのできる知的メディアの構築

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13480087
• Research Institution: University of Tsukuba
• Principal Investigator: 中村 裕一 筑波大学, 機能工学系, 助教授 (40227947)
• Co-Investigator(Kenkyū-buntansha): 北原 格 筑波大学, 機能工学系, 助手 (70323277) ; 黒橋 禎夫 東京大学, 大学院・情報理工学研究科, 助教授 (50263108)
• Keywords: マルチメディア / 映像メディア / 対話的メディア / 映像処理 / 自然言語処理 / コミュニケーション / 知的撮影 / 自動編集

Research Abstract

質問に答えることのできる対話的な映像メディアを実現するためには,映像取得から提示までを一貫して扱う知的システムを構築することが必要である.本研究では,その一つのアプローチとして,料理や組み立て等の解説(プレゼンテーション)場面を題材とし,(1)人間の行動を知的に撮影するカメラマンの機能,(2)人間の行動を認識して映像を知的に編集するディレクターの機能,(3)映像が含んでいる情報をわかりやすく提示するマルチメディア・デザイナーの機能の3つの観点から,映像によるコミュニケーションをサポートする方法論を考え,それを検証するためのプロトタイプシステムを構築している.
各々,以下のように,順調に研究が進行している.
(1)顔や手先など,撮影の主対象となる部分を複数のカメラで常に追跡して,いつでも映像として利用できる状態にする自動化撮影システムを構築した.「何をどのように伝えるか」という目的と「カメラの自動制御アルゴリズムやパラメータ」との関係を探り,不快感がなくわかりやすい映像を取得する方法を提案した.
(2)人間の行動(ここではプレゼンテーションを対象)において,重要な意味を持ち,注目する必要がある場面や部分を検出する手法を提案した.注目すべき部分は,時間的・空間的に常に変化するため,「人間の行動(体の動きや発話等)を利用して,もっとも見せたい部分を検出する」ことが重要なポイントである.また,人物が持ち上げた物体などを画像認識により追跡する方法を提案した.
(3)プレゼンテーションのように,はっきりとした目的がある場合,各時点の人間の行動やその他の被写体には意味や因果関係がある.それらをうまく記述して,映像をわかりやすく提示するような映像提示手法,ビデオアイコンダイアグラムの手法を提案した.これは,映像中のフレーム(画像)をアイコンとし,それを概念図のように並べることで映像の構造を表現するものである.

Research Products

• [Publications] 村山, 中村, 大田: "Diagram Generation Tagged Texts Toward Document Navigation"Proc. Int. Conf. On Multimedia and Expo. 716-719 (2001)
• [Publications] 尾関, 中村, 大田: "Camerawork for Intelligent Video Production"Proc. Int. Conf. On Multimedia and Expo. 41-44 (2001)
• [Publications] 尾関, 伊藤, 中村, 大田: "複合コミュニティ空間における注目の共有"日本バーチャルリアリティ学会第6回大会論文集. 239-242 (2001)
• [Publications] 中村, 他4名: "Augmenting Communication in a Shared Mixed-Reality Space"Proc. Int. Workshop on Pattern Recognition and Understanding. 63-74 (2002)
• [Publications] 河原, 黒橋: "用言と直前の格要素の組を単位とする格フレームの自動構築"自然言語処理. 9・1. 3-19 (2002)
• [Publications] 土屋, 黒橋, 佐藤: "Discovery of Definition Patterus by Compressing Dictionary Sentences"Proc. Natural Language Processing Pacific Rim Symposium. (2001)