2022 Fiscal Year Annual Research Report
Development of a sign language dictionary using a sign language recognition system and a proposal for an encyclopedia in sign language
| Project/Area Number |
18K18517
|
|---|
| Research Institution | National Institute of Technology, Toyota College |
|---|
Principal Investigator |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
神田 和幸 国立民族学博物館, 人類基礎理論研究部, 外来研究員 (70132123)
|
|---|
| Project Period (FY) |
2018-06-29 – 2023-03-31
|
| Keywords | 手話認識 / 手話辞書 / 手話文章 / ディープラーニング / 深層学習 / 手話学習 |
|---|
| Outline of Annual Research Achievements |
本研究では，手話認識システムを搭載した手話単語辞書システムの作製を行っている．
令和3年度までの研究で，スタンドアロンタイプ試作システムおよび簡易型のオンラインシステムの開発が完了していた．これらの研究成果をもとに，システムの完成を目指していた．現状の問題点として，マルチアクセスに対応ができていないため，その部分の改善が必要であるが，ほぼ予定通りのシステムが出来上がった．現在，一般公開に向けて，最終のブラッシュアップを行っている．
また，本研究で開発した手話認識エンジンを用いて，学習システムの開発も並行して行っている．例えば英語学習の場合，自身が発音した語彙が正しいかどうかを判断するシステムがある．これと同じように手話学習者が表現した手話が正しいかどうかを判定できるようなシステムである．異なる形式の問題を複数用意して，手話を学習する手助けができるようにする．このシステムについても一般公開に向けて準備をしている．
手話認識エンジンについては，これまで単語と手話文の学習用のネットワークを別々に開発していたが，これをConformerに統一して，１つの学習済みモデルにすることが可能となった．手話単語については98%，手話文については約80%の認識率を得ることができている．さらに指文字についても同じネットワークで学習できる目処がついた．これにより手話単語だけでなく，手話そのものの認識の研究が飛躍的に進むと思われる．
|
