A New Recognition System of Finger-spelled Sign Language Toward Stress-free Communication with Hearing-impaired People

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K21287
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Rehabilitation science/Welfare engineering; Perceptual information processing
• Research Institution: Osaka Prefecture University
• Principal Investigator: Inoue Katsufumi 大阪府立大学, 工学(系)研究科(研究院), 助教 (50733804)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: フィンガースペリング認識 / RGB-Dカメラ / スポッティング / 距離情報 / ジェスチャー認識 / 動作解析

Outline of Final Research Achievements

In this research, we proposed a new recognition system of Japanese finger-spelled sign language (JFSL) toward stress-free communication with hearing-impaired people. The detail is as follows.
First, we improve the recognition performance of static signs in JFSL with OpenPose which is a finger pose estimation method. From the experimental results, we achieved 89.9% of average recognition accuracy. Second, we proposed a spotting system of sequential representation of JFSL. From the experimental results with 18 words, we achieved 60.4% of average division success rate for spotting. Finally, we constructed a prototype of typing system with JFSL by using the proposed spotting method mentioned above. This system can convert the Hiragana representation into its Kanji ones. From the questionnaire with 5 subject, we confirmed that this system has a potential for replacing the existing tools such as keyboard and hand writing.

Free Research Field

知覚情報処理

Academic Significance and Societal Importance of the Research Achievements

日本語のフィンガースペリング(指文字)において，これまでの研究では，指文字に含まれる静止文字を一文字ずつ認識することに焦点が当てられていた．これに対し本研究では，この議論から一歩踏み出し，日本語の指文字における動作文字の認識と，さらに連続表現された指文字を一文字一文字どの区間で表現されていたかを解析するスポッティングに取り組んだ．実験の結果，平均で60.4%の文字分割成功率を達成し，静止文字一文字一文字の認識という話で止まっていた当該分野に新たな議論の種をまくことができたと考える．また指文字によるタイピングシステムを試作し，アンケート調査より筆談等の代替手段となれる可能性があることを示した．