Noise-robust speech recognition and spoken dialog system for service robots

2020 Fiscal Year Final Research Report

• Project/Area Number: 19K24343
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: Kobe University
• Principal Investigator: Takashima Ryoichi 神戸大学, 都市安全研究センター, 准教授 (50846102)
• Project Period (FY): 2019-08-30 – 2021-03-31
• Keywords: 音声認識 / 音声対話 / ニューラルネットワーク / 機械学習

Outline of Final Research Achievements

The final of this research is to construct an End-to-End model which handles both speech recognition and dialogue system. In the field of speech dialogue system, the conventional system independently optimizes speech recognition module and dialogue module. However, the training of End-to-End model requires huge training data; therefore, the technique to train models on limited training data is important. For this reason, in this research, we propose training techniques using multi-step transfer learning, self-supervised learning, and external knowledge, and confirm that our proposed method can training models showing better performance than conventional methods.

Free Research Field

メディア情報処理

Academic Significance and Societal Importance of the Research Achievements

近年の労働力不足の問題解決のため、サービスロボットに対するニーズが高まっている。音声によるロボットとの対話はユーザにとって馴染みやすいが、高雑音環境といった音声認識が困難な状況では期待した対話性能が得られない。従来、このような問題に対して音声認識、対話技術が個別に最適化される形で研究されており、必ずしも音声対話成功という最終目的に対して最適化がされていなかった。これらのモジュールを一本化して全体最適化が行えればさらに性能向上が見込まれるが、これには膨大な学習データが必要である。本研究の成果は、限られた学習データで安定してモデルを学習する方式であり、前述の全体最適化に利用可能と期待している。