2017 Fiscal Year Research-status Report
Towards a Real-Time Speech Intelligibility Measurement Meter
| Project/Area Number |
17K00223
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
近藤 和弘 山形大学, 大学院理工学研究科, 教授 (10312753)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 音声信号処理 / 音声了解度 / 了解度推定 / 深層学習 / 雑音除去 / 残響除去 |
|---|
| Outline of Annual Research Achievements |
原音を用いずに劣化音声のみから音声信号を推定するには、劣化音声から原音声をまず推定する必要がある。劣化として加算雑音と残響を扱うことにし、まずは別々に各々の劣化を含む音声から原音を推定することを検討した。このためDeep Neural Net(DNN)を用いて劣化音声から原音声を推定することを試みた。いずれの劣化も同じネットワーク構成を用いて、前後各々5フレームの劣化音声スペクトルを含む劣化音声から中心1フレームの原音スペクトルを出力する構成とした。1フレーム処理後、1フレームずらして中心フレームを推定する構成とした。推定スペクトルと、元の劣化音声から算出した位相を用いて音声信号を再現する。
（１）加算雑音に対しては、未知加算雑音に対し、セグメンタルSNRを15 dB程度改善することができた。学習雑音に対しては17 dB以上改善することができた。
（２）残響に対しては、残響時間1秒の残響劣化を含む音声信号に対し、セグメンタルSNRを3.6 dB程度改善することができた。聴覚的には残響が大きく減少していることを確認した。また、推定原音信号の再生に残響を含む劣化音声から算出した位相を用いているが、これがSNR向上を制限していることもわかった。そこで位相信号を原音声から算出し、この位相を用いてDNN出力の推定スペクトルと合わせて原音声の推定を試みたところ、SNRは8.6 dB程度向上した。よって位相も推定することが推定音声の品質向上に効果的であることがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
加算雑音、残響ともにDNNを用いて一定以上の精度で除去し、原音声信号を推定できることを示すことが出来たため。特に位相が正確に推定できていれば、劣化がほとんど気にならない程度まで原音声が再生できることが判明したため。
|
| Strategy for Future Research Activity |
今後は更に原音推定精度を挙げることをまず目指す。そのためにはまずはDNNの学習量を大幅に増加する。また、位相の精度が全体の推定精度に大きく影響することがわかったので、劣化信号から位相を推定する方法について検討していく。
さらに推定した原音声信号を劣化音声信号から減算して雑音成分を推定する。この推定雑音と推定原音をさらにDNNに入力し、了解度を推定する。
最後に加算雑音、残響双方を含む音声信号に対し、学習したDNNを用いて原音声を推定し、この推定原音声と推定劣化成分から、両劣化を含む音声信号の了解度の推定を試みる。
|
| Causes of Carryover |
関連する国際会議が今年度は国内で開催されたため、海外出張する必要がなかったため。
|
