• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

話者・言語特徴の分離表現に基づく音声強調・認識の統合

研究課題

研究課題/領域番号 20H01159
研究種目

奨励研究

配分区分補助金
審査区分 4110:情報科学、情報工学、人間情報学、応用情報学およびその関連分野
研究機関国立研究開発法人理化学研究所

研究代表者

關口 航平  国立研究開発法人理化学研究所, 革新知能統合研究センター, テクニカルスタッフ1

研究期間 (年度) 2020-04-01 – 
研究課題ステータス 完了 (2020年度)
配分額 *注記
480千円 (直接経費: 480千円)
2020年度: 480千円 (直接経費: 480千円)
キーワード音声強調 / 音源分離 / 音声認識
研究開始時の研究の概要

雑音存在下で頑健な音声認識を行うために、多チャネルマイクで音声を録音し、対象の音声の強調と音声認識を順番に行うアプローチが用いられるが、前段の音声強調が失敗した場合に認識精度が大きく低下してしまう問題がある。
本研究では音声を言語情報と話者情報に分離する技術を開発し、それを用いて音声認識と多チャネル音声強調を統合することで、音声強調と認識の精度を同時に改善する。

研究成果の概要

音声認識を用いるシステムにおいて、マイクと話者の距離が離れている場合には周囲の雑音や残響などもマイクでの観測音に含まれてしまうために音声認識が困難になる問題がある。そのため、観測音から音声のみを取り出す研究が盛んにおこなわれている。本研究では、使用する環境を特定しない汎用的な音声強調手法に深層学習を用いた音声の生成モデルを統合した従来手法に着目し、音声が時不変な話者情報と時変な言語情報に依存するという性質を考慮した音声の生成モデルを用いることで、音声強調精度のさらなる改善を図った。

研究成果の学術的意義や社会的意義

音声認識は、スマートフォンなどのように話者とマイクの距離が近い場合には、現在すでに高い認識率を達成しているものの、話者とマイクの距離が離れている場合には周囲の影響により認識率は大幅に低下してしまう。このような状況における認識率を改善することができれば、スマートスピーカなどを快適に利用できるようになったり、聴覚障害者の日常生活を補助するようなデバイスを実現することが可能になったりすると考えられるため、音声強調は重要な研究テーマである。

報告書

(2件)
  • 2020 実績報告書   研究成果報告書 ( PDF )
  • 研究成果

    (3件)

すべて 2021 2020

すべて 雑誌論文 (1件) (うち国際共著 1件、 査読あり 1件、 オープンアクセス 1件) 学会発表 (2件) (うち国際学会 1件)

  • [雑誌論文] Fast Multichannel Nonnegative Matrix Factorization With Directivity-Aware Jointly-Diagonalizable Spatial Covariance Matrices for Blind Source Separation2020

    • 著者名/発表者名
      Kouhei Sekiguchi, Yoshiaki Bando, Aditya Arie Nugraha, Kazuyoshi Yoshii, Tatsuya Kawahara
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 28 ページ: 2610-2625

    • DOI

      10.1109/taslp.2020.3019181

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Semi-supervised Multichannel Speech Separation Based on a Phone- and Speaker-Aware Deep Generative Model of Speech Spectrograms2021

    • 著者名/発表者名
      Yicheng Du, Kouhei Sekiguchi, Yoshiaki Bando, Aditya Arie Nugraha, Mathieu Fontaine, Kazuyoshi Yoshii, Tatsuya Kawahara
    • 学会等名
      2020 28th European Signal Processing Conference (EUSIPCO)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] ARMA-FastMNMFに基づく同時的ブラインド音源分離・残響除去2021

    • 著者名/発表者名
      關口 航平, 坂東 宜昭, ヌグラハ アディティヤ, フォンテーヌ マシュー, 吉井 和佳
    • 学会等名
      日本音響学会 2021年春季研究発表会
    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2023-03-23  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi