Research on communication support technology for persons with articulation disorders using multiple modalities

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H01995
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Educational technology
• Research Institution: Kobe University
• Principal Investigator: TAKIGUCHI Tetsuya 神戸大学, 都市安全研究センター, 教授 (40397815)
• Co-Investigator(Kenkyū-buntansha): 高田 哲 神戸大学, 保健学研究科, 名誉教授 (10216658) ; 陳 金輝 県立広島大学, 地域創生学部, 准教授 (50777810) ; 中井 靖 宮崎大学, 教育学部, 教授 (80462050) ; 山本 暁生 神戸大学, 保健学研究科, 特命助教 (30758842)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: ヒューマン・インターフェース

Outline of Final Research Achievements

In this study, we focused on three subjects with respect to communication assistive technologies for persons with articulation disorders. (1) For automatic speech recognition, we proposed an end-to-end system using multiple speech databases. (2) For speech synthesis, we proposed a hybrid approach, using two models of a physically unimpaired person and a person with an articulation disorder to generate an intelligible voice while preserving the speaker’s individuality. (3) For multi-modal speech recognition, we proposed unsupervised domain adaptation to lip reading.

Free Research Field

メディア情報工学

Academic Significance and Societal Importance of the Research Achievements

近年，スマートスピーカーなど音声を用いた端末入力サービスが発表されている．しかしこれらのサービスでは，明瞭な発話ができる人を対象としており，発話困難者には対応していない．本研究では，構音障がい者の音声コミュニケーション支援技術として，複数データベース（複数モデル）を活用した音声認識，音声合成を提案した．得られた発話コミュニケーション支援技術に関する成果は，障がい者の自立生活支援などに資するものである．