2019 Fiscal Year Research-status Report
Development of Wearable Sign Language Learning Support Equipment
| Project/Area Number |
18K11595
|
|---|
| Research Institution | Nagano National College of Technology |
|---|
Principal Investigator |
藤澤 義範 長野工業高等専門学校, 電子情報工学科, 教授 (00342494)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 祥一 長野工業高等専門学校, 電子情報工学科, 准教授 (10369978)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 指文字 / 認識 |
|---|
| Outline of Annual Research Achievements |
現在，ウェアラブルデバイスでの指文字の認識について実験を行っている．指文字の清音は，全部で46文字あるが，動きがあるものを除くと41文字をあるので，まずは，それらを対象にウェアラブルデバイスのカメラでどの程度の認識が可能なのかを実験により検証している．
実験は，白い背景で手にオレンジ色の手袋をして，カメラに指文字を見せる．カメラでは，オレンジ色を認識したら，その色の領域を四角く抽出して色相変換してから，輪郭を抽出する．この輪郭と，予め用意しておいた指文字のデータと比較して一致したパターンの文字を認識する．このような一般的なパターンマッチングに加え，四角く抽出した領域に占める指文字の割合を計算し，その値も1つの特徴とした．指文字は，必ずしも理想的な状態で行われず，多少の傾きなども考慮して，傾いた場合であっても，四角い領域に占める指文字の割合は変化しないので，このような手法も認識のために採用している．
今回は，機械学習等を用いない手法での認識について行っており，41文字中，間違いなく認識できる文字が24文字で，58%程度であることがわかった．誤認識することもある文字を含めると，73%の文字は正しく認識できることがわかった．しかし，この手法では認識がほぼ不可能な文字があることも明らかになった．輪郭が似ているものについては，誤認識が頻発するので，別の特徴を抽出しないと誤認識は改善されない．また，同じ指の形で，角度が90度や180度傾けて異なる指文字にしているものについても同じ特徴となるため，別の特徴または，基準となる背景などが必要であることが明らかとなった．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
システム自体は，手話コンテンツにもの対応しているが，手話コンテンツの制作が遅れており，現在挨拶に関するコンテンツが1つあるのみとなっている．指文字の認識については，検討し，実装中であり，これについては，当初の計画と概ね計画通りである．
|
| Strategy for Future Research Activity |
手話コンテンツの制作を中心に実施するとともに，指文字の認識手法を再検討し，指文字の認識率の向上を行っていく．具体的には，現在は，輪郭のみを抽出しパターンマッチングしているが，これは，二次元的な認識なので，ここに深さ方向のセンサにより，三次元的な認識を行うことで，認識率の改善を目指す．
|
| Causes of Carryover |
現在使用中のウェアラブルデバイスのヴァージョン2が発売予定であり，すでに発注済みであるが年度内に執行できず，今後順次執行する予定である．
|
Research Products
(4 results)
