2004 Fiscal Year Annual Research Report
画像情報に基づく複雑背景下での手話認識に関する研究
| Project/Area Number |
15300058
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
白井 良明 大阪大学, 大学院・工学研究科, 教授 (50206273)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三浦 純 大阪大学, 大学院・工学研究科, 助教授 (90219585)
先山 卓朗 大阪大学, 大学院・工学研究科, 助手 (70335371)
島田 伸敬 立命館大学, 情報理工学部, 助教授 (10294034)
|
|---|
| Keywords | 手指形状推定 / 手話認識 / 複雑背景 / HMM / 3次元形状モデル / 見え変動の学習 / 動画像追跡 / 遷移ネットワーク |
|---|
| Research Abstract |
昨年度収集した衣服のショッピングに用いられる50単語程度の手話単語の動画データベースに対して,HMMに基づく単語認識手法の改良をおこなった.昨年度と同様に,画像特徴として色に基づく手領域を切り出し,手形状,位置,動きをもちいてHMMを学習させたが,複雑な動作の単語を学習する場合,HMMの状態分割を適切に行う必要があることがわかった.そこで,手の動きが遅くなる時点,または動きの方向が急激に変化する時点で状態を自動分割する方法で,学習を自動化させることができた.また両手が組み合わさった単語を認識するために,両手の特徴を合わせてHMMを学習させることにより,より単語認識の精度が向上することがわかった.
色だけでは正確な手領域の抽出が困難であるので,昨年度に引き続き遷移ネットワークを用いて手輪郭の変化と動きを学習させることにより輪郭追跡を行う手法を研究した.動きが緩やかなときは昨年度の手法で追跡できたが,手話単語では画像のサンプリング間隔に比べて早い動きがおこるため,手領域がぼやけて輪郭追跡が困難になった.そこで,輪郭形状を持たないノードを遷移ネットワークに新たに追加し,動きの大きさと方向ならびに位置のみを登録した.このノードと照合するときは輪郭形状の照合を行わず,遷移可能なノードをすべて保存することにより,後のフレームで輪郭がはっきりしてから照合を行う.この手法により動きの早い部分を含む手話単語でも見失うことなく輪郭追跡を行うことができた.
手指の3次元構造を考慮して2次元輪郭から手指モデルの関節角度を推定する手法の研究をおこなった.昨年度の手法では典型的な姿勢候補について微小な関節角度変化による輪郭の変形を統計的に学習させて照合に用いたが,隠蔽が発生する候補では,微小な関節角度変化が大きな輪郭形状変化をもたらし,単純な正規分布モデルでは記述できないことがわかった.そこで,輪郭変形の学習時にクラスタリングをおこなって複数の正規分布の混合モデルで記述する方法を採用したところ,うまく照合できることがわかった.また,輪郭上に等間隔にとったサンプル点が手形状の個人差によってずれることを考慮して学習する方法,および指先特徴をつかった粗い照合に基づいて手首位置を推定する方法を組み合わせることで,通常の服装でも3次元手形状が推定できるようになった.
|
Research Products
(4 results)
