2012 Fiscal Year Annual Research Report
統計モデルに基づく手話動作のサブユニットモデル自動生成と大語彙連続手話認識
| Project/Area Number |
22500506
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
北村 正 名古屋工業大学, 工学(系)研究科(研究院), 教授 (60114865)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 助教 (30396791)
|
|---|
| Project Period (FY) |
2010-04-01 – 2013-03-31
|
| Keywords | 連続手話認識 / 隠れマルコフモデル / 手話データベース / TOF カメラ / 音韻構造 |
|---|
| Research Abstract |
今年度は，奥行き情報が抽出可能なTOF カメラにより取得した３次元情報を用い、更に手話の音韻構造を考慮した連続手話認識を行った。提案法では、音韻構造に基づいたマルチストリーム隠れマルコフモデルを認識に利用した。実験では、1名の手話通訳士による337単語からなる手話500文章を対象として連続手話中の単語認識を行った。 TOF カメラにより取得した３次元情報の有効性及び３次元情報に対して言語的特性を考慮する有効性の検証を行った。
①奥行き情報の有効性の検証：手の位置情報のうち奥行き情報を含む３次元情報と、奥行き情報を含まない２次元情報を用いる隠れマルコフモデルによる認識実験を比較することにより検証を行った。結果は、２次元情報では最大41.1%であったのに対し、奥行き情報を加えた３次元では 42.6%という認識結果が得られ，奥行き情報の有効性が確認された。
②手話の言語的特性を考慮する有効性の検証：手話の音韻構造とされる手の位置、動き、形の３要素を抽出し、各要素の隠れマルコフモデルのストリームを重み付けして統合した方法（マルチストリーム法）を提案した。有効性の検討のため、身体全体の情報を主成分分析により次元圧縮を行った情報を用いる単一ストリーム隠れマルコフモデルによる方法と比較した。実験結果より、３次元情報に対して言語的特性を考慮する手法のほうが4.0%の認識精度の向上がみられその有効性が確認できた。
|
| Current Status of Research Progress |
Reason
24年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
24年度が最終年度であるため、記入しない。
|
