身体機能低下に伴う動作ゆらぎを考慮した映像理解によるコミュニケーション支援の研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10780245
• Research Institution: Kanagawa Institute of Technology
• Principal Investigator: 吉野 和芳 神奈川工科大学, 工学部, 助手 (10298284)
• Keywords: 手形状推定 / 指文字認識 / 手話認識 / カラーパッチ手袋 / マカトンサイン

Research Abstract

本年度は,要介護高齢者や障害者の意図理解を目的として,色の異なるパッチを複数付けたカラーパッチ手袋を利用し,動作を伴うジェスチャ表現における手の形状,手指や腕の動きを検出する手法について検討した.
具体的には,本年度の成果は次の2点にまとめることができる.
1.カラーパッチ手袋を利用した腕の動き追跡と手指形状推定方法の検討
ジェスチャ表現を行っている話者の上半身をビデオカメラで撮影した映像からカラーパッチ手袋上に張り付けたカラーパッチ部分を抽出し,それらの抽出されたカラーパッチ群の映像上での重心を求め,その重心の軌跡から腕の動きを検出することを行った.このとき,映像内では話者の上半身部分を撮影しているために抽出されるカラーパッチのサイズが小さくなり手指形状の推定が困難となることから,コンピュータによる制御が可能なアクティブカメラで話者の手指部分のみを前述の重心軌跡をもとに追跡撮影し,その映像から手指形状の推定を行った.
2.連続映像からのジェスチャ単語分割とマカトンサインへの適用
追跡撮影された話者の手指部分の連続映像からそれぞれ映像内のカラーパッチ群を抽出し,それらのカラーパッチの色の組合わせの遷移を求め,その遷移状態にしきい値を設定してジェスチャの単語を分割することを行った.さらに,両手分のカラーパッチ手袋を作成し,マカトンサインの推定を試みた.その結果,単語数の増加により推定率は低下するものの適用可能であると期待できる.