Constraint Free Training of Speech Recognition Systems Based on Full Bayes Modeling

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K20001
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Research Field: Human informatics and related fields
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: Shinozaki Takahiro 東京工業大学, 工学院, 准教授 (80447903)
• Co-Investigator(Kenkyū-buntansha): 持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
• Project Period (FY): 2017-06-30 – 2020-03-31
• Keywords: 音声認識 / 教師なし学習 / 半教師あり学習 / 強化学習 / ノンパラメトリックベイズ法

Outline of Final Research Achievements

The dependency on supervised learning using paired data is a major bottle-neck of current speech recognition systems. The goal of this research is to improve the flexibility of the system learning by using unpaired data. We have proposed a method to automatically extend the pronunciation dictionary from unmatched phoneme data and text data by applying the nonparametric Bayes method and weighted finite transducer. We have also worked on reinforcement learning of speech recognition systems by formulating the whole encoder-decoder based system as a policy function. We have shown that our proposed reinforcement learning methods significantly improve learning efficiency.

Free Research Field

音声言語情報処理

Academic Significance and Societal Importance of the Research Achievements

人間は成長の過程でほとんど無意識のうちに平均して一日５単語以上を学習する優れた言語学習能力を持っている。それに対して現在の音声認識システムは教師あり学習に頼っておりシステム開発に多大な手間を必要とするとともに、日々生み出される新しい単語や小さなコミュニティ内でのみ使用される表現などを自動的に学習する能力を欠いている問題がある。人と機械の間での自然な音声対話の実現を目指し、本研究では自律的な学習技術の実現に取り組んだ。従来の教師あり学習に代わる教師なし学習や強化学習による学習手法を提案し、実験により有効性を示した。