Towards a Real-Time Speech Intelligibility Measurement Meter

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K00223
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: Yamagata University
• Principal Investigator: Kondo Kazuhiro 山形大学, 大学院理工学研究科, 教授 (10312753)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 音声了解度推定 / 加算雑音劣化 / 残響 / 深層学習 / DNN

Outline of Final Research Achievements

We attempted to predict speech intelligibility of speech corrupted with additive noise and reverberation. We predicted clean speech using DNN, and predicted the intelligibility from the difference between predicted and corrupted speech using a separate DNN.
(1) For additive noise, the correlation and RMSE between the predicted and subjective intelligibility was 0.93 and 0.11, respectively.
(2) For reverberation, we first prepared read speech samples of sentences that would be able to measure the effect of reverberation accurately. Using DNN that was trained using the collected speech, the correlation and RMSE between the predicted and subjective intelligibility was 0.94 and 0.06, respectively.

Free Research Field

音声音響信号処理

Academic Significance and Societal Importance of the Research Achievements

音声通信等における受話者側の基本的品質尺度の一つに、どの程度正確に聞き取れる音声を伝送できたかを測る音声了解度が挙げられる。音声了解度は複数の聴取者が正確に聞き取れる発話単位数で評価される。一般に多数の聴取者が多数の発話を用いて評価する必要があるため、高価であり時間も多く必要とされる評価となる。このため、受話音声の物理量などのみより音声了解度を推定する。
本研究では、実時間通信でも通話品質が推定できるように、原音を必要としない、メータのように簡単に利用できる音声了解度推定方法の確立を検討した。その結果、深層学習を用いて原音を用いなくても了解度が高精度で推定できることを示した。