2021 Fiscal Year Research-status Report

手話の言語的特徴を考慮した深層学習による多次元時系列データを用いた手話認識

Research Project

Project/Area Number	19K11411
Research Institution	Tsukuba University of Technology
Principal Investigator	白石優旗筑波技術大学, 産業技術学部, 准教授 (00389214)
Project Period (FY)	2019-04-01 – 2023-03-31
Keywords	手話認識 / 指文字認識 / データグローブ / 深層学習
Outline of Annual Research Achievements	2021年度は、手話の中でも、動的指文字(手指を動かしながら提示する指文字)を含む全指文字(76文字)に対し、それら指文字の連続的提示(連続指文字)における認識システムを開発し、識別実験を行った。学習・評価用データには、連続的な指文字の提示動作に起因する他の指文字への認識ミスのしやすさを考慮して選定した64単語（2-5文字）を対象とし、日常的に手話を使用している、ろう・難聴の実験協力者32名（20-23歳）から1人あたり5回繰り返して採取したものを使用した。その際、データクリーニングにより欠損データを取り除いた9,305語分のデータに対して、ELANを用いて動画を確認しながら提示時間毎に指文字のラベリングを手動で行った。その際、指文字を提示していない区間（わたり）はφとラベリングした。連続指文字認識は、音声認識と同様に、連続的に提示された指文字に対して各時刻での指文字を認識するものである。したがって、音声認識で活用されているLong Short-Term Memory(LSTM)をベースラインとし、我々がこれまでに単一指文字認識で使用してきたConvolutional Neural Networks(CNN)を組み合わせた複数のモデル(7種類)を構築し、比較実験を行った。なお、NNへの入力には、正規化を行った後、移動平均により4sample per secondにデータ圧縮したものを用いた。すべてのサンプルに対して識別したものを5-fold CVで評価した結果、CNNとLSTMを組み合わせたモデルで、92.1％の認識率を確認した。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 新型コロナウイルスの影響で、実験機器を用いたデータ採取実験に大幅な遅れが生じたため。
Strategy for Future Research Activity	まずは、昨年度開発した連続指文字認識システム実験の成果について国際ジャーナルへの投稿を行う。次に、動的指文字を含む手話認識に取り組むため、認識対象とする手話単語の選定を行う。その際、安定した多次元時系列データを採取するための工夫についても、同時に検討する。
Causes of Carryover	新型コロナウイルスの影響により、実験に遅れが生じたため。次年度の実験のための謝金として使用予定。