2019 Fiscal Year Research-status Report
手話の言語的特徴を考慮した深層学習による多次元時系列データを用いた手話認識
| Project/Area Number |
19K11411
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
白石 優旗 筑波技術大学, 産業技術学部, 准教授 (00389214)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 手話認識 / 指文字認識 / データグローブ / 深層学習 |
|---|
| Outline of Annual Research Achievements |
2019年度は、手話の中でも、日本語の平仮名を指で提示する「指文字」を対象とし、手指を動かしながら提示する指文字（以下、動的指文字と呼ぶ）を対象として、識別実験を行った。データ採取にあたり、動的指文字の認識に最低限必要な情報である、手の位置、向き、手指の形状、及び動き情報（手や手指の動きを含む）を安定して取得するため、データグローブ採用した。その際、日常的に利用可能とするため、安価で軽く、洗濯も可能なデータグローブを採用した。識別実験では、日常的に手話を使用しているろう・難聴の実験協力者20名（20-27歳）の日本の指文字76文字（濁音、半濁音、長音、拗音を含む）のデータを対象とし、(1)データスクリーニングと特徴量の改良、(2)識別ネットワークの改良、(3)動的指文字を含む76文字に対しての評価実験に取り組んだ。
(1)については、ジャイロドリフトを防ぐため、リアルタイムで加速度と角速度の各値から角度に算出するMadgwickフィルタを用いて角度（sinとcosの6次元）を算出し、識別に用いた。また、汎化能力向上のため、200個/秒のサンプリングデータに対し、移動平均によるデータ減少を行い4個/秒とした。(2)については、新たな識別モデルとして、識別ネットワークへの入力の際に、動作量、加速度、角速度、角度のそれぞれに分岐させた。その後、畳み込みニューラルネットワークを通し、最後に指文字の数に合わせてDenseを通して出力することとした。(3)については、20分割交差検証法で評価した。結果、平均識別率70.0%の結果を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウイルスの影響で、実験機器を用いた追加実験が困難となったため。また、学会発表も延期となったため。
|
| Strategy for Future Research Activity |
まずは、安定したデータを採取可能とするため、データグローブの改良を行う。
次に、識別性能の向上のため、動的指文字において実際に手を動かしている箇所を特定するアルゴリズムの検討、実装、評価を行う。
更に、追加のデータ採取実験を行う。
その際、新型コロナウイルス影響で実験協力者を集めることが困難な場合は、実験機器を郵送し、オンラインで対応するなどの方法について、検討する。
その後、連続的に提示された指文字の認識、基本単語の手話認識に取り組む。
|
| Causes of Carryover |
新型コロナウイルスの影響により、発表予定だった国際学会（採択済み）が次年度に延期となったため。
また、新型コロナウイルスの影響により、実験が困難となったため。
次年度の国際学会発表旅費、並びに実験のための物品費、謝金として使用予定。
|
Research Products
(3 results)
