2017 Fiscal Year Annual Research Report
Development of multimodal sign language recognition system considering the importance of manual signal and non-manual signal
| Project/Area Number |
15K12601
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 手話認識 |
|---|
| Outline of Annual Research Achievements |
１．マルチモーダル手話認識用のデータベースについては二つのデータベースを用いて研究を進めた。一つは、前年度より利用しているイタリアの手話20単語が収録されており、Multi-Modal Gesture Recognition (MMGR) workshop on International Conference on Multimodal Interaction (ICMI)で利用された公開データベースChaLearnである。もう一つは、モーションセンサであるMicrosoft Kinectを用いて独自に収集した日本語手話100単語の手話シーンデータベースJ100wordsである。
２．これまで取り組んできた人手により設計した手の位置、手の動きおよび手型の3種類の特徴量を用いて、HMMにより認識する手法について、前記二つのデータベースに対して認識実験を実施した。この研究成果を国際学会で発表した。
３．２のアプローチと異なり、前年度より導入した深層学習の一種である再帰型ニューラルネットワークを用いた手話認識手法を提案し、国内学会で研究成果を発表した。
４．手話認識の関連研究では、骨格情報が用いられているが、どの骨格情報が有効であるかについて十分議論されていない。そこで認識に有効な骨格情報を検討した結果、従来手法よりも高い精度が得られることを確認した。この成果についても国内学会で研究成果を発表した。
|
