2020 Fiscal Year Research-status Report
Development of Wearable Sign Language Learning Support Equipment
| Project/Area Number |
18K11595
|
|---|
| Research Institution | Nagano National College of Technology |
|---|
Principal Investigator |
藤澤 義範 長野工業高等専門学校, 電子情報工学科, 教授 (00342494)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 祥一 長野工業高等専門学校, 電子情報工学科, 准教授 (10369978)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 聴覚障害者 / 指文字 / 手話 / ウェアラブルデバイス / モーションキャプチャ / ハンドトラッキング |
|---|
| Outline of Annual Research Achievements |
本申請に至るまでに我々は，ウェアラブルデバイスを使った指文字の学習支援アプリの開発を行ってきた．本申請では，指文字の学習支援アプリの改善と評価，手話の3Dモデルを使った手話学習支援，また，相手の指文字を認識する機能を追加する予定である．
まず，指文字の学習支援アプリについては，直感的な操作が難しいという意見があった．これは，使用しているウェアラブルデバイスの特性とも言えるので，デバイスの操作になれるための別アプリを用意する必要がある．次に開発したアプリについては，それまでの不具合や見えづらさなどを解消しており，比較的良い評価をいただいた．しかし，静音以外の濁音，半濁音などの動きを伴う指文字の評価については，一部改善があるとの評価であった．
手話の3Dモデルについては，体に装着するモーションキャプチャを使用し手話を母語としている方に研究に関する十分な説明を行い，承諾を得た後に装着してもらい，24種の手話をキャプチャした．そのデータを市販の3Dモデルに埋め込み，手話の動作を行えるようにした．一連の作業を自動で行うようにしているが，モーションキャプチャの精度などにより，取り込んだデータの修正を手動で行う必要もあるが，手話の動作そのものを手動でモデルに与える作業に比べ，効率よく行えた．今回使用したモーションキャプチャは指先の精度が非常に悪く，その部分の修正に時間が必要であった．
指文字の認識については，デバイス内蔵のカメラを使い，指文字の認識を行った．先行して画像処理による指文字の認識の実験を行い，動きのない41種の指文字に対して24文字を正しく認識できている．今回の研究では，デバイス内蔵のハンドトラッキング機能を使い，指文字の認識の実験を行った．画像処理による認識より処理時間は大幅に減少するが，カメラに隠れてしまう指のトラッキングができず，ご認識するケースもあった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
指文字の修正およびアプリの改善などを行い，手話の3Dモデルの効率的な開発手順についての検討を行った．これらに加え，カメラによる指文字の認識を画像処理を用いた方法とデバイスのハンドトラッキング機能を使った方法の2種類で実施した．これらの評価については，聴覚障害者1名の協力を得て行い，概ね良い評価を得ることができた．
しかし，より多くの方に評価をいただく予定であったが，モデルの開発に時間が取られてしまったことや感染症の影響で対面での評価が難しかったこともあり，指文字学習の定着度の検証ができなかった．
|
| Strategy for Future Research Activity |
本申請により，指文字の学習支援については，直ちに学習定着度の評価が行える状態にあるので，感染症の広がりの状況を見て，学習定着度の評価について行っていく．また，指文字の認識についてもハンドトラッキングによる認識が処理的にも非常に早いため，先行して行ってきた画像処理による認識手法も取り入れてより正確に指文字の認識を行えるように改善を図る予定である．
手話の3Dモデルについては，指先の動きをどのようにキャプチャするかが大きな課題であるため，使用するモーションキャプチャの再選定が必要があると考える．また，指文字とは異なり手話は話者の表情も感情を使える重要な要素であるため，モーションキャプチャの他に表情を捉える別の手段を取り入れる必要があり，今後どのように進めるが再検討が必要である．
|
| Causes of Carryover |
感染症の影響で，旅費としての執行ができなかった．加えて，システムの評価についても対面での評価ができず，計画していた謝金の執行ができなかった．今後の使用計画については，感染症の状況にもよるが，システムの評価のための謝金としての執行を考えている．また，手話の3Dモデルの制作のためのモーションキャプチャの購入も考えている．
|
Research Products
(1 results)
