Speech Enhancement Network using Perceptual and Physical Mathematical Model

2022 Fiscal Year Research-status Report

• Project/Area Number: 21K11953
• Research Institution: Saitama University
• Principal Investigator: 杉浦 陽介 埼玉大学, 理工学研究科, 助教 (20711617)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 音声強調 / 雑音除去

Outline of Annual Research Achievements

本研究は、周囲の騒音レベルが高い環境において、音声のみを高精度に取り出す音声強調技術の開発に取り組むものである。音声強調は音声認識等のあらゆる音声処理の前処理で使われる重要な技術である。ただし、ネットワークの最適化がなされておらず、劣悪な雑音環境下で性能が低下していた。そこで本研究は、人間の発声メカニズム(物理モデル)と知覚メカニズム(知覚モデル)を数理的に深層学習と融合させ、ネットワークの構造および学習機構を改良することで、高精度な音声強調を達成する。2021年度に開発したソースフィルタ理論に基づく音声生成モデルをもとに，子音等の非線形成分を単純な正弦波の変換により表現することができることがわかった。劣悪環境下ではモデルパラメータの推定が非常に困難であるため，データセットの拡充が必須であり，様々な状況を想定した雑音を音声に加算することで入力に含まれるわずかな情報から音声構造を生成する枠組みを開発した。今後は本手法を論文にまとめ，公開すると共に，さらなる性能改善に向けてモデルの改良を行う。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

2022年度においては、高雑音環境下における高精度な音声強調の実現にむけて、音声の知覚的数理モデルの構築とその有効性の確認を行うことを計画していた。聴覚上の「音声らしさ」を解き明かすにはデータセット規模がまだ不十分であること、そしてモデル最適化の難易度の高さにより，当初の計画より進捗が遅れている。

Strategy for Future Research Activity

音声データセットをさらに拡充すると共に，モデルの試作を加速度的に進める。具体的に，保有している計算機を複数台使い，トライ＆エラーの速度を早める。得られた知見をもとに，音声の知覚的モデリングを行い，音声強調ネットワークをさらに改良する。

Causes of Carryover

新型コロナ感染症の影響が引き続き，計算機サーバーの価格が大幅に上昇したことから計算機の購入を見送った。他，次年度に論文掲載や国際会議参加を目指し，それらに関連する費用を次年度に計上する。