2011 Fiscal Year Annual Research Report
統計モデルに基づく手話動作のサブユニットモデル自動生成と大語彙連続手話認識
| Project/Area Number |
22500506
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
北村 正 名古屋工業大学, 工学研究科, 教授 (60114865)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
酒向 慎司 名古屋工業大学, 工学研究科, 助教 (30396791)
|
|---|
| Keywords | 手話認識 / 隠れマルコフモデル / クラスタリング / 手話データベース |
|---|
| Research Abstract |
(1)TOFカメラによる連続手話認識
手話動作における奥行き情報を容易に取得でき、身体的な拘束のない方法として、TOF(Time-of-Flight)カメラに着目した。TOFカメラによる手話認識の先行研究はそれほど多くなく、小規模な実験に留まっている。TOFカメラによる手話データベースを用いて,これまで提案されてきたHMM(隠れマルコフモデル)に基づいた手話認識の枠組みに基づいて連続単語認識タスクによる評価実験を実施し、有効性を確認した。
(2)音韻構造サブユニットモデルの改善
これまでの研究では、サブユニットの生成過程に手話の音韻構造を考慮することで、学習の効率化や認識率の改善が示されているが、音韻の重要度に相当する各ストリームの重みをモデル全体で一定値に定めていた。最適なストリーム重みを網羅的に調べ、事前に付与することは、実用的な観点からすると現実的ではない。そこで未知データに対しても頑健に働くような適切なストリーム重みを、学習データに基づいて推定する手法を提案した。手話単語の認識タスクにおける評価実験を実施し、提案手法の有効性を確認した。
(3)手話映像データベースの整備
昨年度に収録した手話通訳士(1名)による500文章規模の手話映像データベースの整備を実施した。平行して撮影したCCDカメラによる映像データとの同期、手話文章単位の切り出し、単語ラベル・時間境界の付与などを行い、(1)での研究課題に活用した。なお、本データベースは研究用途での公開を予定している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度における当初の計画の研究課題はまだ達成されていないが、当該年度の計画に見込んでいなかった手話データベースの整備と連続手話認識については予定以上に進んでおり、全体としては順調に進展している。
|
| Strategy for Future Research Activity |
CCDカメラ及びTOFカメラによる連続手話データベースの同時収録をすでに行ってあるが、今後はデータベース間の同期を考え、手話文章単位の切り出し、単語ラベル・時間境界の付与などを行い、これらのデータベースの整備を行う。更に、これらのデータベースからより正確な3次元情報抽出し、それらの情報を用いた音韻構造サブユニットモデルに基づいて、連続手話認識の性能向上を検討する。
|
