2015 Fiscal Year Annual Research Report
手指動作と非手指動作のサブユニットモデルに基づく手話認識に関する研究
| Project/Area Number |
25350666
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
北村 正 名古屋工業大学, 工学(系)研究科(研究院), 教授 (60114865)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 助教 (30396791)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 手話認識 / 手指動作 / 非手指動作 / Kinect v2 |
|---|
| Outline of Annual Research Achievements |
手話は手指信号と非手指信号を同時に用いる視覚言語であり、非手指動作のタイミングにより意味合いが異なる。そのため、それらを個別に認識すると共にそれらのタイミングも考慮する必要がある。最終年度では、手話通訳士により収録したデータベースを対象に、非手指動作の認識と手指動作の認識を個別に行った。
非手指動作の認識では、出現頻度の高い頷き、顎上げ、顎下げを対象とした。Kinect v2により得られた額と頬の座標を用いて頭の傾きを求め、その時系列から静止、頷き、顎上げ、顎下げの区間をラベル付けして、それらの各区間を１状態と考えて３状態の隠れマルコフモデル(１次元、単一正規分布)により全体の動作区間をモデル化した。実験では、平叙文，肯否疑問文，命令文を各々72 文ずつ用意し、学習用に66個、認識に125個のデータを用いた。3 種類の頭部動作全体の正解率は 79 %であった。
手指信号の認識では、手話の言語学的知見に基づき、手話の3要素である手の位置、動き、形状によって手話単語を定義しモデル化する方法で認識を行った。手話通訳士2名が223単語を2回生成したデータに対して認識を行った。本研究では手話の各要素に対応した疑似的なデータを学習データとし、話者依存の条件で223 単語の未知語に対して孤立手話単語の認識実験を行った。実時間手話単語認識を行うため、Kinect v2を用いてそれぞれの特徴量を抽出した。手の位置は混合正規分布、手の動きは手座標の時系列を隠れマルコフモデル、手の形状は輪郭特徴を用いてモデル化し、それらの3要素を個別認識した後3つのスコアを重み付け和で手話単語のスコアとした。手形状（24種類）、位置（８種類）、動き（40種類）の個別の認識率はそれぞれ、28.7％、78.3％、60.0％、重み付け和の単語認識率は33.8％となった。
|
