2020 Fiscal Year Research-status Report
手話の言語的特徴を考慮した深層学習による多次元時系列データを用いた手話認識
| Project/Area Number |
19K11411
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
白石 優旗 筑波技術大学, 産業技術学部, 准教授 (00389214)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 手話認識 / 指文字認識 / データグローブ / 深層学習 |
|---|
| Outline of Annual Research Achievements |
2020年度は、手話の中でも、動的指文字（手指を動かしながら提示する指文字）を含む全指文字（76文字）に対し、それら指文字の連続的提示（連続指文字）における認識手法の検討を行った。具体的には、昨年度のデータ採取実験で使用したデータグローブに対し、センサや制御基板の物理的な不安定さに起因するノイズが混入したデータを一部で確認したため、それらをデータグローブにしっかりと固定できるように3Dプリンタを用いて治具を作成した。同時に、基盤回路の見直しを行い、予備のデータグローブを含めて複数個制作した。次に、機械学習では使用する学習データが非常に重要となるため、実験で採取する手話単語（連続指文字での提示）の選定を慎重に行った。今回の目的は単語の認識ではなく、単語に含まれる指文字の認識のため、全指文字が含まれるようにし、単語の文字数も適切な長さに調整した（2文字から5文字）。その際、連続的な指文字の提示動作に起因する他の指文字への認識ミスの発生のしやすさを考慮し、64単語を選定した。同時に、想定される様々な認識ミスを類型化し、整理した。これにより、今回選定した手話単語が、今後の連続指文字データ採取実験の指針になることが期待される。その後、実際に連続指文字データ採取実験を行った。具体的には、日常的に手話を使用している、ろう・難聴の実験協力者40名（20-24歳）に対し、先に説明した64単語を対象としたデータ採取実験を行った。その際、サンプリングレートは200個/秒で、指の動作量（5次元）と手の動作方向（加速度3次元、角速度3次元）について計測データ（多次元時系列データ）を取得した。この一連の動作を5回繰り返した。更に、識別精度向上のため、データクリーニング、動的指文字における動作範囲の特定、データ不足解消のためのデータ拡張の導入、並びに、認識深層学習ネットワークモデルの改良を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
新型コロナウイルスの影響で、実験機器を用いたデータ採取実験に大幅な遅れが生じたため。
|
| Strategy for Future Research Activity |
新型コロナウイルスの影響で、実験計画の大幅な遅れが生じたため、昨年度実施完了予定であった連続指文字認識実験を引き続き行い、その成果について学会発表を行う。具体的には、まず、連続指文字の識別に先立ち、単一の動的指文字の識別率の向上を目指す。次に、連続指文字認識の実現のため、音声認識で使用されている深層学習アルゴリズム（LSTM等）を、連続指文字認識に最適化して適用する。また、取得データのさらなる安定化のため、自作のデータグローブ回路の簡単化、堅牢化、Bluetoothによる無線通信化を行う。そして、開発システムに対し識別率とユーザビリティを評価する。その際、評価と同時にデータの採取も行い、追加学習による識別率の向上を目指す。その後、基本単語の手話認識に取り組む。
|
| Causes of Carryover |
新型コロナウイルスの影響により、実験に遅れが生じたため。
次年度の実験のための謝金として使用予定。
|
Research Products
(1 results)
