| 研究課題/領域番号 |
19K11411
|
|---|
| 研究機関 | 筑波技術大学 |
|---|
研究代表者 |
白石 優旗 筑波技術大学, 産業技術学部, 准教授 (00389214)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| キーワード | 手話認識 / 指文字認識 / データグローブ / 深層学習 |
|---|
| 研究実績の概要 |
2021年度は、手話の中でも、動的指文字(手指を動かしながら提示する指文字)を含む全指文字(76文字)に対し、それら指文字の連続的提示(連続指文字)における認識システムを開発し、識別実験を行った。
学習・評価用データには、連続的な指文字の提示動作に起因する他の指文字への認識ミスのしやすさを考慮して選定した64単語（2-5文字）を対象とし、日常的に手話を使用している、ろう・難聴の実験協力者32名（20-23歳）から1人あたり5回繰り返して採取したものを使用した。その際、データクリーニングにより欠損データを取り除いた9,305語分のデータに対して、ELANを用いて動画を確認しながら提示時間毎に指文字のラベリングを手動で行った。その際、指文字を提示していない区間（わたり）はφとラベリングした。
連続指文字認識は、音声認識と同様に、連続的に提示された指文字に対して各時刻での指文字を認識するものである。したがって、音声認識で活用されているLong Short-Term Memory(LSTM)をベースラインとし、我々がこれまでに単一指文字認識で使用してきたConvolutional Neural Networks(CNN)を組み合わせた複数のモデル(7種類)を構築し、比較実験を行った。なお、NNへの入力には、正規化を行った後、移動平均により4sample per secondにデータ圧縮したものを用いた。すべてのサンプルに対して識別したものを5-fold CVで評価した結果、CNNとLSTMを組み合わせたモデルで、92.1％の認識率を確認した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
新型コロナウイルスの影響で、実験機器を用いたデータ採取実験に大幅な遅れが生じたため。
|
| 今後の研究の推進方策 |
まずは、昨年度開発した連続指文字認識システム実験の成果について国際ジャーナルへの投稿を行う。次に、動的指文字を含む手話認識に取り組むため、認識対象とする手話単語の選定を行う。その際、安定した多次元時系列データを採取するための工夫についても、同時に検討する。
|
| 次年度使用額が生じた理由 |
新型コロナウイルスの影響により、実験に遅れが生じたため。 次年度の実験のための謝金として使用予定。
|
