| 研究概要 |
本研究では,マルチメディアデ-タベ-ス化を目的した画像情報の認識・理解技術として,「マルチメディア協調」による認識枠組みを有し,入力側で達成できる認識・理解結果の範囲の中で利用プログラムを展開する「目的指向規範」を導入すること,を特徴とする「デ-タベ-スビジョン」と呼ぶべき新しい技術スタンスを提案・検討することを目的とする。具体的には,ドラマシ-ンの動画像をシナリオ文書情報及び一部の音声情報を協調させて認識・理解させるシステムを開発し,その有効性,実現性を実証することを目的とする.
本年度は以下の各課題により,異種のメディアを協調させた動画像認識方式の基本方式を開発した.
(1)個々のメディアの認識過程をそれぞれ認識状態遷移図で表し,一方これらの協調の結果得られる「状況」の理解結果について各メディア共通の「状況遷移図」を用意し,汎用性のある認識枠組を創案した.
(2)(1)の枠組の下に,ドラマ画像とそれに対応するシナリオの文書画像との協調型内容理解を実行するシステムの基本部分を開発した.動画像の各画面をカラ-空間でセグメント分割し,10コマ毎の一連の画面を時間軸を含む3次元デ-タとして管理し,この3次元オブジェクトの認識状態を状態遷移図型認識モデルにより理解をすすめる.一方シナリオを構造化し,キャラクタ説明部,会話者名部,シ-ン説明部についてモデルを設定する。協調の要となる状況遷移図は,代表的なドラマシ-ンの展開やカメラワ-クを参照して設定した.
(3)(2)で開発した認識システムの基本部分を,既存のワ-クステ-ションと本年度購入したビデオプロセッサシステムの中心とするシステム上に実装した.この実験システムを用いてドラマ映像シ-ンとそれに対応するシナリオ文書を対象に,各メディア内容の協調型理解実験を行い,方式の実現性,有効性を検証,評価した.
|
