Infrastructural spoken language technology to support smooth communication with hearing-impaired people in education

2023 Fiscal Year Final Research Report

• Project/Area Number: 20H01716
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Yamato University (2022-2023); Tsukuba University of Technology (2020-2021)
• Principal Investigator: Kobayashi Akio 大和大学, 情報学部, 教授 (10741168)
• Co-Investigator(Kenkyū-buntansha): 北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501) ; 西崎 博光 山梨大学, 大学院総合研究部, 教授 (40362082) ; 安 啓一 筑波技術大学, 産業技術学部, 准教授 (70407352)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: ろう・難聴 / 音声認識 / 音声コミュニケーション

Outline of Final Research Achievements

For deaf and hard-of-hearing (DHH) individuals with ambiguous articulation, speech interfaces with automatic speech recognition (ASR) have been challenging due to insufficient ASR developed for normal hearing. In order to solve this issue, a corpus of 50 DHH individuals' speech was developed, and a large number of read and spontaneous speech, i.e., conversation, were compiled in this study. The developed corpus was also employed to improve the ASR performance for DHH. The results showed a significant reduction in phoneme errors for the DHH speech in read speech, although not as significant as for normal hearing.

Free Research Field

音声言語処理

Academic Significance and Societal Importance of the Research Achievements

聴覚障害学的な観点からのコーパス作成はこれまでも世界的に行われてきたが、音声認識を含む音声言語処理への応用を視野に入れた50人ほどの大規模コーパスは例がなく、聴覚障害者を対象とした音声言語処理技術の進展に大きく寄与するものである。重度聴覚障害者の発話は多様性があり、既存の音声認識ソフトウェアで十分な認識性能に達する者もいれば、調音運動の不安定性から個人適応のような手法によっても性能の改善が限定的であるなどの知見が得られており、聴覚障害者を支援する音声インターフェースを備えたデバイスの実現に向けて前進した。