大規模ジェスチャー認識のための基本動作モデル生成の研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15500107
• Research Institution: Nagoya Institute of Technology
• Principal Investigator: 北村 正 名古屋工業大学, 大学院・工学研究科, 教授 (60114865)
• Co-Investigator(Kenkyū-buntansha): 宮島 千代美 名古屋大学, 大学院・情報科学研究科, 助手 (90335092) ; 徳田 恵一 名古屋工業大学, 大学院・工学研究科, 助教授 (20217483)
• Keywords: ジェスチャー / 主成分分析 / 主成分得点 / 肌色検出 / 両手座標 / 隠れマルコフモデル / 基本動作 / 画像ベース

Research Abstract

大規模あるいは連続音声認識では、音素を基本単位として用いる方法がほぼ確立されているが、ジェスチャー認識についてはそのような定まった知見がまだ得られていない。そのため、音声認識の音素に相当する効率的な基本単位を検討する必要がある。たとえば、各ジェスチャーを一つのモデルで表現する方法が考えられるが、ジェスチャーの種類が数千にもなる場合、ジェスチャー毎にモデルを作成するのは現実的ではない。そのため、音声認識の音素に相当する効率的な基本単位が必要になる。一般に異なるジェスチャーであっても、それぞれのジェスチャーには同じような動作が含まれていることが多い。本研究では、その類似した基本動作を音声認識における音素に相当するものと考え、それらの基本動作の組み合わせによる大規模なジェスチャー認識のアプローチを検討する。研究では、これらの基本動作を統計的な尺度に基づいて生成する方法を提案し、大規模なジェスチャー認識を行うことを目標とする。
本年度は以下の点を検討した。
(1)動作モデルの作成と認識:ジェスチャーは、原画像そのままではデータ量が多いため、特徴量として、肌色検出に基づく両手座標、主成分分析による主成分得点を用いた。更に、これらを特徴量と基にジェスチャー毎の隠れマルコフモデルを作成し認識実験を行った。これらから基本動作に必要な隠れマルコフモデルの状態ベクトル集合を作成した。
(2)基本動作モデルの作成:異なるジェスチャーであっても、それぞれのジェスチャーには同じような動作が含まれることが多い、したがって、その類似した基本動作を(1)で得られる状態ベクトル集合から、情報量を基準として自動生成する方法を検討を始めた。来年度以降は、それらの基本動作の組合せによるジェスチャーのモデル構築のアプローチを検討する。

Research Products

• [Publications] 柳, 井上, 柳生, 酒向, 宮島, 徳田, 北村: "手座標追跡によるジェスチャー認識"2003年電子情報通信学会基礎・境界ソサイエティ大会. A-4-23. 84-84 (2003)
• [Publications] 柳, 柳生, 徳田, 北村: "手の動作と形状を用いたHMM手話認識"2004年電子情報通信学会総合大会. D-12-119. 285-285 (2004)
• [Publications] 野村, 柳, 後藤, 徳田, 北村: "情報量基準に基づいたHMMジェスチャー認識の状態数の検討"2004年電子情報通信学会総合大会. D-12-117. 283-283 (2004)