研究課題
ダイナメッシュからの信号処理的特徴量抽出3次元ビデオは被写体が非剛体であることが多いため、各フレームのデータは時間的に前後する隣接フレームの情報を使用することなく、独立に生成される。また、各フレームに含まれる3次元オブジェクトの頂点数は数万〜数十万に及ぶ。そのため、オブジェクトの特徴点位置特定及びその追跡は非常に困難である。このことにより3次元ビデオに対する検索や編集は実現が難しい。そこで、19年度は3次元ビデオの頂点・結線情報を直接的に処理するのではなく、信号処理的アプローチ(ヒストグラムの生成、周波数解析など)を用いて3次元ビデオの動き解析をする手法を開発した。モーションキャプチャ・データからの信号処理的特徴量抽出モーションキャプチャは特殊なスーツを着用した上で関節などの特徴的な位置に磁気・光学マーカーを取り付けて撮影するシステムであるため、被写体の構造的特徴量(関節の位置やその動き)を正確に取得することが可能である。しかし、逆に構造的特徴量のみしか取得できないため、被写体の形状・服装などを考慮した信号処理的特徴量を抽出するのは不得手である。そこで、モーションキャプチャ・データから信号処理的特徴量を抽出し、3次元ビデオ・データと特徴量を相互変換出来るようにする方式について検討し、ダイナミックメッシュから抽出される信号処理的特徴量と互換性のある特徴量の抽出を可能にした。検索・編集のための要素技術の開発検索・編集技術の開発の為に、動きセグメンテーションによるデータ分割、分割された3次元ビデオ・シーケンス同士の類似度比較、3次元ビデオに対するモーショングラフ、3次元モデル・モーフィングによる結合シーケンス同士の補間、3次元ビデオの動き分類・動き認識、シーケンス内のキーフレーム抽出などの要素技術の開発を行った。プロトタイプ・システムの開発3次元ビデオ、モーションキャプチャのデータから抽出した信号処理的特徴量を元に、検索や編集を行うシステムのプロトタイプを作成した。実験結果、高い精度で検索を行えることがわかった。また、編集のプロトタイプシステムを開発した。
すべて 2008 2007 その他
すべて 雑誌論文 (6件) (うち査読あり 6件) 学会発表 (22件) 備考 (1件)
映像情報メディア学会 62
ページ: 216-221
EURASIP Journal on Applied Signal Processing 2007
ページ: ID:59535(オンラインジャーナル)
映像情報メディア学会 61
ページ: 495-501
電子情報通信学会論文誌D J90-D
ページ: 1729-1732
ページ: 1169-1176
ページ: 1177-1187
http://www.hal.t.u-tokyo.ac.jp
