Implementation of super low-delay voice conversion system

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K20295
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Nagoya University
• Principal Investigator: Kobayashi Kazuhiro 名古屋大学, 情報基盤センター, 研究員 (50815602)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 音声変換 / 話者 / 深層学習 / リアルタイム / 主観評価実験

Outline of Final Research Achievements

Voice conversion is a technique to convert one's speech into another speaker's speech.　It is possible to implement a low-delay voice conversion system combined with streaming conversion techniques.　However, since there is a tradeoff between delay and conversion quality, it has been observed that setting a slight delay tends to degrade conversion quality. To alleviate these problems, we aimed to implement low-latency voice conversion systems using parallel or non-parallel utterances in this research.

Free Research Field

人間情報学

Academic Significance and Societal Importance of the Research Achievements

音声変換技術は、人と人のコミュニケーションで使われる音声を対象とした技術である。声優などの卓越した話者を除き、個人が発話可能な声色の表現範囲は狭く、多くの人にとって他者の声色を完全に模倣する事は困難である。音声変換技術は、声色の表現範囲の壁を超え、誰もが多種多様な声色で発話する事を可能とする技術として期待されている。とりわけ、短遅延音声変換は入力された音声を逐次的に変換できるため、人と人とのコミュニケーションを大きく拡張する事が期待されている。一方で、高品質かつ短遅延な音声変換は未だ困難であるため、その実現に向けた研究成果や知見は重要であると考えられる。