Spoken Language Technology for Online Communication Between Normal-Hearing and Hearing-Impaired People

• Project/Area Number: 23K25692
• Project/Area Number (Other): 23H00995 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Yamato University
• Principal Investigator: 小林 彰夫 大和大学, 情報学部, 教授 (10741168)
• Co-Investigator(Kenkyū-buntansha): 北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501) ; 西崎 博光 山梨大学, 大学院総合研究部, 教授 (40362082) ; 安 啓一 筑波技術大学, 産業技術学部, 准教授 (70407352)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥11,310,000 (Direct Cost: ¥8,700,000、Indirect Cost: ¥2,610,000); Fiscal Year 2025: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2024: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000); Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
• Keywords: 聴覚障害者 / 音声認識 / 声質変換 / 音声コミュニケーション / オンラインコミュニケーション

Outline of Research at the Start

新型コロナ感染症の流行では、大学で多くの講義等でオンラインコミュニケーションが著しく増加した。聴覚障害者と健聴者とのオンラインコミュニケーションに着目すると、筆談 (チャット)は煩雑で時間がかかる。また、通信品質の低い音声は健聴者・障害者ともに聞き取りが困難である。そこで本研究課題では、健聴者と障害者双方に視覚情報(字幕)および聴覚情報(音声)の両者を併用して提示することにより頑健なオンラインコミュニケーションを実現する、音声言語処理技術に基づく拡張型音声コミュニケーションアシスタントを研究する。