|
１．マルチモーダル手話認識用のデータベースについては二つのデータベースを用いて研究を進めた。一つは、前年度より利用しているイタリアの手話20単語が収録されており、Multi-Modal Gesture Recognition (MMGR) workshop on International Conference on Multimodal Interaction (ICMI)で利用された公開データベースChaLearnである。もう一つは、モーションセンサであるMicrosoft Kinectを用いて独自に収集した日本語手話100単語の手話シーンデータベースJ100wordsである。
２．これまで取り組んできた人手により設計した手の位置、手の動きおよび手型の3種類の特徴量を用いて、HMMにより認識する手法について、前記二つのデータベースに対して認識実験を実施した。この研究成果を国際学会で発表した。
３．２のアプローチと異なり、前年度より導入した深層学習の一種である再帰型ニューラルネットワークを用いた手話認識手法を提案し、国内学会で研究成果を発表した。
４．手話認識の関連研究では、骨格情報が用いられているが、どの骨格情報が有効であるかについて十分議論されていない。そこで認識に有効な骨格情報を検討した結果、従来手法よりも高い精度が得られることを確認した。この成果についても国内学会で研究成果を発表した。
|
