Research Abstract |
初年度は,セマンティックビデオ編集システムにおける最も重要な要素であるセグメンテーションを中心に研究した.主な方針として,現在行っている研究の手法を改善し,高速かつ人手の作業の手間が少ないセグメンテーション手法を目指した. 1. 動的背景に対応するライブビデオセグメンテーションの研究 この研究の目的はライブビデオ(live video)中から注目した物体の領域を抽出することである.この技術は非常に重要であり,放送と通信など様々な分野に利用されている.従来の手法として,クロマキーと背景差分などの手法がよく知らせている.しかし,従来手法には,撮影環境が制限される(クロマキー),カメラの移動のようなダイナミックな背景の変化に対応できない(背景差分)という問題点である.本研究では,下記の要素に取り組んだことにより,リアルタイムで複雑な背景でも対応できるセグメンテーションを実現した. (1)色の特徴に加え,温度カメラを用いることで温度の特徴も利用した. (2)高速および安定なセグメンテーションの実現に向け,従来のグラフカット法を改善し高速化する2段階セグメンテーションと動的な背景に対応させるオンライン学習を提案した. 2.リアルタイムビデオマッティングの研究 ビデオマッティングとは,ビデオの中から特定のオブジェクトを切り出す処理を指しており,テレビ放送や映画製作において広く応用されている.ビデオを単純に前景/背景の2値で切り分けるセグメンテーションとは異なり,マッティングでは各画素に多値の不透明度が割り当てられる.マッティングは特に髪の毛など境界が曖昧な部分に対して効果があり,切り出されたオブジェクトを新しい背景上に重畳するアプリケーションにおいて,視覚的に良好な合成結果を与える.本研究では,リアルタイムで動作するマッティング手法を提案した。 提案手法は,入力ビデオのフレームを前景と背景にセグメンテーションした後,前景・背景の境界部分にマッティング処理を適用する,という処理手順をほぼリアルタイムで実現するものである.本手法は,上記の先行研究のセグメンテーション手法と,Bayesianマッティング手法をベースにしているが,それぞれに以下のような改善を加えている.セグメンテーションについては,色の尤度情報を動きに基づいて伝搬する手法を新たに導入し,リアルタイム性を保ったままより良い精度を達成した.マッティングについては,ダウンサンプリングと初期値推定を取り入れ,精度を保ったまま,Bayesianマッティングと比較して約5倍の高速化を達成した.上記の改善の組み合わせにより,高品質かつリアルタイムのビデオマッティングを実現できた.
|