| 研究概要 |
前年度試作したPCクラスタを用いた実時間手指姿勢推定システムにおいて,多くのミスマッチが問題となった。原因は,モデル関節角度のサンプリング問隔が広いために,モデル画像と入力が完全には一致しないこととわかった。そこで,考えられる輪郭の違いを許容するマッチングを研究した.指先や指の間等の特徴を検出し,その対応に基づく変形を推定する.変形が微少なアフィン変換で近似できる場合は誤差を許容する.推定した変換でモデル輪郭を変形してから入力輪郭と照合する.このさい,輪郭各点において輪郭に垂直なずれの成分を評価して,それが小さいものを照合結果として出力する.
このアルゴリズム変更にともなって処理量が増大したが,これを実時間で実行するために,クラスタPC台数を増強した.また任意背景での推定を可能にするため,赤外線LEDを内蔵した赤外線カメラを接続し,背景除去を行った.前年度より照合精度の高い実時間推定システムを構築できた.
あらかじめ手形状の動作をいくつか入力し,遷移ネットワークを用いて可能な手形状の変化を学習する遷移ネットについての研究を進めた.今年度は任意背景で手指領域をうまく切り出すために遷移ネットワークを用いることを検討した.1つ目には,直前の手形状推定結果から,次画像において手首位置を抽出する方法や利用する情報を切り替えていく方法について研究した.
もう1つは動的輪郭モデルを用いて手領域を追跡する際に,複数のダイナミクスを切り替えながら予測を行って迫跡を行うswitching linear modelを導入した.任意背景下で手指の切り出しを行いつつ,手形状推定やジェスチャの認識をオフラインでおこなった.
次に,形状識別だけではなく,ジェスチャの意味を認識する応用を念頭におき,日本式手話単語をHMMを用いて認識するシステムを試作した.体全体が入る画像解像度では,手指の詳細な輪郭を抽出することが困難であるので,入力特徴として両手の手領域の大きさ,傾き,指状突起の数,手領域の動きベクトルを用いた.動きの変化をもちいて単語の区切り候補を求め,単語認識の結果尤度の十分高くなる区切りを採用した.これにより両手を使う数十の単語を識別することができた.
|
