深層学習を利用した実環境下悲鳴検出システムの開発

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K04935
• Research Institution: Osaka Electro-Communication University
• Principal Investigator: 早坂 昇 大阪電気通信大学, 情報通信工学部, 准教授 (50554573)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 悲鳴検出 / 悲鳴強調 / 深層学習

Outline of Annual Research Achievements

2019年度，Wave-U-Netを用いた雑音除去について検討を行い，13dB以上のSignal to Noise Ratio(SNR)の改善を確認した．今年度は，当該雑音除去後の悲鳴音声に対し，スペクトルの白色性を表すスペクトルエントロピーによる手法と人間の聴覚特性を考慮したスペクトル包絡情報を表すMFCC(Mel-Frequency Cepstrum Coefficients)による手法を適用し，【課題１】である「劣悪な環境下における高い検出性能の達成」に取り組んだ．
Wave-U-Netのアーキテクチャを学習する際は，雑音を重畳した悲鳴音声を入力とし，重畳した雑音および重畳前の悲鳴音声を出力としている．そのため，雑音除去後の悲鳴音声を精度良く抽出できる一方で，非悲鳴区間(つまり雑音区間)においても悲鳴と類似した音が残存する問題がある．
申請者が提案しているスペクトルエントロピーによる手法は，悲鳴のスペクトル形状が雑音のスペクトル形状に比べ非白色性が高いことを利用し高い検出性能を達成していた．しかし，前述の残存する音は悲鳴と類似しているため，頻繁に誤検出することが明らかになった．そこで，人間の聴覚特性を考慮した声道特性を表すMFCCによる悲鳴検出手法を適用した．悲鳴をもれなく検出したときの誤検出率により評価した結果，雑音除去を適用しない場合，SNR=0dBの雑音環境で0.42%，SNR=-5dBの雑音環境では2.18%であったが，雑音除去適用後は，それぞれ0.03%，0.14%に低減することに成功した．
【課題3】である「小型PCやモバイル端末への実装に向けた演算量の削減」についてはモバイル端末への実装を進め，【課題2】の「悲鳴とその類似音との識別精度向上」についても類似音の収集を進めている．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

【課題1】深層学習を利用した雑音除去を適用することで非常に高い検出性能を達成しており，順調に進展している．
【課題2】2019年度末からのコロナウイルス感染症の影響により収録が思うように進められていなため，やや遅れている．
【課題3】小型PCやモバイル端末への実装に向けた演算量の削減については，2020年度より実装を開始しており，概ね順調に進展している．

Strategy for Future Research Activity

【課題1】2020年度までに一定の成果が出ているため，今年度は国際会議発表および論文発表を推進する．
【課題2】2019年度末からのコロナウイルス感染症の影響から，悲鳴と類似した音の収集が思うように進められていない．そのため，公開されている雑音データベースなどを利用する方向で考えている．それらの雑音にWave-U-Netを適用し，残存する悲鳴類似音と悲鳴音声を識別する別のネットワークを構築する予定である．
【課題3】2020年度に引き続き，2021年度もモバイル端末への実装を引き続き進める予定である．また，演算量削減についても検討を行う．

Causes of Carryover

2021年度は国際会議発表および論文発表を計画しており，その参加費および投稿費用に使用する予定である．また，雑音データ収集およびデータ整理のためにも一部使用する．