Development of Wearable Sign Language Learning Support Equipment

2021 Fiscal Year Annual Research Report

• Project/Area Number: 18K11595
• Research Institution: Nagano National College of Technology
• Principal Investigator: 藤澤 義範 長野工業高等専門学校, 電子情報工学科, 教授 (00342494)
• Co-Investigator(Kenkyū-buntansha): 伊藤 祥一 長野工業高等専門学校, 電子情報工学科, 准教授 (10369978)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 指文字 / 手話 / 聴覚障害 / ウェアラブルデバイス / 拡張現実 / 複合現実

Outline of Annual Research Achievements

我々は，基盤研究C（15K0191)にてウェアラブルデバイスを使った指文字の学習支援アプリケーションの開発を行った．この研究では，拡張現実（AR）技術を用いて，ひらがなが描かれたカードをいマーカーとして，ウェアラブルデバイスでこのマーカーを撮影すると，自分の見ている現実が拡張され，指文字の三次元モデルが映し出されるものであった．
今回の研究では，このアプリケーションの機能を拡張し，指文字だけでなく，手話の学習も可能にすることを目的とした．そこで，我々は手話の三次元モデルの制作を行った．手話の三次元モデルは，モーションキャプチャーを用いて，手話を母語とする人に研究の協力を依頼し，モーションキャプチャにより三次元手話モデルの制作を行った．また，合わせて，２つの機能の拡張を行った．１つは，拡張現実による表現から複合現実による表現にした．これによりマーカーが不要になり，ウェアラブルデバイスを装着し，デバイスから見える位置でジェスチャーをすることでデバイス越しに見ている現実に指文字等を表示することが可能となった．これにより，それまでマーカーを用いていた指文字の学習が，複合現実上の五十音表からジェスチャーで文字を選択するだけで，指文字の学習ができるようになった．２つ目は，指文字の認識機能を付加した．指文字を学習する際に，自分では指文字ができても，相手の指文字がわかるとは限らず，「指文字ができるようになる」ことに加え，「指文字を読むことができる」ような機能もほしいという要望があり，すべての指文字には対応できていないが，一部の指文字を認識できる機能を付加して，アプリケーションの機能拡張を行った．