2021 Fiscal Year Annual Research Report
Construction of acoustic model on small training data for dysarthric speech recognition
| Project/Area Number |
20K19862
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
高島 遼一 神戸大学, 都市安全研究センター, 准教授 (50846102)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Keywords | 音声認識 / 構音障害 / 障害者支援技術 / 機械学習 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、大量の学習データを得ることが難しい構音障害者を対象として、高精度な音声認識モデルの構築を目指している。少量の学習データで音声認識モデルを学習するための方法として、前年度に検討したSelf-supervised learningに基づく方法をさらに性能改善する方式を検討した。Self-supervised learningは、ラベルの無いデータを活用することで、性能の良い初期モデルを学習する方法の一つである。この手法を用いることで、ラベルの付与が困難な構音障害者の自由発話を学習データとして利用可能となる。今年度は、Self-supervised learningに加えて、音声認識結果を疑似的なラベルとして利用する疑似ラベリングの手法と組み合わせることで性能向上を行う手法を検討した。音声認識ラベルを一切使用しないSelf-supervised learningと比べて、疑似ラベリングは音声認識ラベルを使用するため、より音声認識に適した学習が行われると期待される。しかし疑似ラベリングは音声認識結果を正解ラベルの代わりにしようするため、疑似ラベルの誤りが学習に悪影響を及ぼすことが懸念される。そこで検討手法では、疑似ラベルを生成するための音声認識において計算される事後確率から、生成された疑似ラベルの信頼度を計算し、その信頼度に基づいて、疑似ラベリングによる学習とSelf-supervised learningによる学習のどちらを重視するかを重みづけしながらモデルの学習を行う方式を提案した。我々が独自に収録した脳性麻痺による構音障害者音声を用いた実験の結果、従来方式の音声認識誤り率に対して、Self-supervised learning単体を用いることで約15.2%の改善が得られ、さらに疑似ラベリングの併用により、従来方式から約22.4%の改善が得られた。
|
