Sign Language Recognition Using Multidimensional Time Series Data with Deep Learning Considering Linguistic Characteristics of Sign Language

2023 Fiscal Year Final Research Report

• Project/Area Number: 19K11411
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 59010:Rehabilitation science-related
• Research Institution: Tsukuba University of Technology
• Principal Investigator: Shiraishi Yuhki 筑波技術大学, 産業技術学部, 准教授 (00389214)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: ろう・難聴者支援 / 手話認識 / 指文字認識 / 機械学習 / 深層学習 / ダイバーシティ社会

Outline of Final Research Achievements

In this research, we aimed to support communication between deaf and hard-of-hearing (DHH) individuals and hearing individuals by developing sign language recognition technology. We achieved high accuracy in identifying finger-spelled letters and recognizing continuous finger-spelling. Moreover, we established a foundation for recognizing one-handed sign language in driving scenarios. These results are expected to promote the social participation of DHH individuals and contribute to realizing a society that respects diversity. In the future, we will utilize the insights gained from this research to develop a practical sign language recognition system.

Free Research Field

福祉工学、ヒューマンインタフェース、インタラクション、ソフトコンピューティング

Academic Significance and Societal Importance of the Research Achievements

本研究の成果は、手話認識技術の発展に寄与するものです。手話言語の特徴を工学的アプローチにより明らかにすることで、言語学の発展にも貢献し得ると考えます。また、手話認識の精度向上は、ろう・難聴者の社会参加を促進し、生活の質を高めることにつながります。これらの成果は、多様性を尊重し、誰もが平等に社会参加できる環境の実現に貢献するものと考えられます。本研究は、ダイバーシティ社会の実現に向けた重要な一歩となると信じています。