• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

人間の聴覚特性を考慮した残響・雑音環境下における音声信号処理の研究

研究課題

研究課題/領域番号 18J20059
研究種目

特別研究員奨励費

配分区分補助金
応募区分国内
研究分野 知覚情報処理
研究機関筑波大学

研究代表者

李 莉  筑波大学, システム情報工学研究科, 特別研究員(DC1)

研究期間 (年度) 2018-04-25 – 2021-03-31
研究課題ステータス 完了 (2020年度)
配分額 *注記
2,800千円 (直接経費: 2,800千円)
2020年度: 900千円 (直接経費: 900千円)
2019年度: 900千円 (直接経費: 900千円)
2018年度: 1,000千円 (直接経費: 1,000千円)
キーワード多チャネル音源分離 / 音声強調 / 多チャネル変分自己符号化器 / 独立ベクトル分析 / 深層学習 / 音響信号処理 / モノラル音声強調 / 非負値行列因子分解
研究実績の概要

本研究では,人間の聴覚上かつ機械の認識上の両方において,高品質な音源分離システムの構築を最終的な目標としており,信号処理・機械学習・聴覚にまたがる数理モデルの構築と拡張を行った.最終年度では,主に以下の研究課題に取り組んだ.
1.昨年度までに提案した多チャンネル音源分離手法である多チャンネル変分自己符号化器法の高速アルゴリズム(FastMVAE法)の改良を行い,従来のFastMVAE法における未知データに対する性能劣化の問題を改善し,より高精度かつ高速なアルゴリズムを開発した.その結果はIEEE Accessに掲載された.本研究はIEEE Signal Processing Society Japan Chapterにより高く評価され,Student Conference Paper Awardを受賞した.
2.実験データを増やして,初年度に進めた非負値行列因子分解に基づく音声強調手法である識別的非負値行列因子分解(DNMF)の性能および動作を確認した.その結果をまとめた論文はIEEE Accessに掲載された.
3.昨年度に補助関数法を用いた独立ベクトル分析(AuxIVA)と呼ぶ多チャンネルブラインド音源分離手法にマイクと話者の空間情報を利用した幾何的正則化を取り入れたGCIVAを提案した.本年度は,実用化アプリケーションに向けて,提案手法のオンラインアルゴリズムの開発を行い,提案手法はリアルタイム処理で高性能な音声強調を行えることをシミュレーション実験で検証した.その結果をまとめた論文をトップカンファレンスであるINTERSPEECH2020で発表した.また,実環境における提案法の有効性も車室内で録音したデータにより検証した.
4.実用アプリケーションを目指し,AuxIVAおよびGCIVAのオンラインアルゴリズムを小型パソコンJetson Nanoに実装し,動作を確認した.

現在までの達成度 (段落)

令和2年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和2年度が最終年度であるため、記入しない。

報告書

(3件)
  • 2020 実績報告書
  • 2019 実績報告書
  • 2018 実績報告書
  • 研究成果

    (41件)

すべて 2021 2020 2019 2018 その他

すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 4件) 学会発表 (36件) (うち国際学会 22件、 招待講演 5件) 備考 (1件)

  • [雑誌論文] FastMVAE: A Fast Optimization Algorithm for the Multichannel Variational Autoencoder Method2020

    • 著者名/発表者名
      Li Li, Hirokazu Kameoka, Shota Inoue, Shoji Makino
    • 雑誌名

      IEEE Access

      巻: 8 ページ: 228740-228753

    • DOI

      10.1109/access.2020.3045704

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Majorization-Minimization Algorithm for Discriminative Non-Negative Matrix Factorization2020

    • 著者名/発表者名
      Li Li, Hirokazu Kameoka, Shoji Makino
    • 雑誌名

      IEEE Access

      巻: 8 ページ: 227399-227408

    • DOI

      10.1109/access.2020.3045791

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Supervised determined source separation with multichannel variational autoencoder2019

    • 著者名/発表者名
      Hirokazu Kameoka, Li Li, Shota Inoue, Shoji Makino
    • 雑誌名

      Neural Computation

      巻: Vol. 31, No. 9 号: 9 ページ: 1891-1914

    • DOI

      10.1162/neco_a_01217

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Underdetermined source separation based on generalized multichannel variational autoencoder2019

    • 著者名/発表者名
      Shogo Seki, Hirokazu Kameoka, Li Li, Tomoki Toda, Kazuya Takeda
    • 雑誌名

      IEEE Access

      巻: Vol. 7, No. 1 ページ: 168104-168115

    • DOI

      10.1109/access.2019.2954120

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Single-channel multi-speaker separation via discriminative training of variational autoencoder spectrogram model2021

    • 著者名/発表者名
      Naoya Murashima, Hirokazu Kameoka, Li Li, Shogo Seki, Shoji Makino
    • 学会等名
      RISP Internaonal Workshop on Nonlinear Circuits, Communicaions and Signal Processing (NCSP2021), pp. 149-152
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] VMInNet: Interpolation of virtual microphones in optimal latent space explored by autoencoder2021

    • 著者名/発表者名
      Riki Takahashi, Li Li, Shoji Makino, Takeshi Yamada
    • 学会等名
      RISP Internaonal Workshop on Nonlinear Circuits, Communicaions and Signal Processing (NCSP2021), pp. 93-96
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Teacher-student learning for low-latency online speech enhancement using wave-U-net2021

    • 著者名/発表者名
      Sotaro Nakaoka, Li Li, Shota Inoue, Shoji Makino
    • 学会等名
      2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] SepNet: A deep separation matrix prediction network for multichannel audio source separation2021

    • 著者名/発表者名
      Shota Inoue, Hirokazu Kameoka, Li Li, Shoji Makino
    • 学会等名
      2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 車室内環境を想定したWave-U-Netによる雑音除去の検討2021

    • 著者名/発表者名
      樋口隼太, 李莉, 井上翔太, 牧野昭二, 山田武志
    • 学会等名
      電子情報通信学会総合大会論文集, A-5-1
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 車室内の三角マイクロフォンアレイへのヴァーチャルマイクロフォン技術の適用2021

    • 著者名/発表者名
      瀬川華子, 髙橋理希, 李莉, 陣在遼河, 牧野昭二, 山田 武志
    • 学会等名
      日本音響学会2021年春季研究発表会講演論文集, 2-1-14, pp. 253-256
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 補助関数法に基づく幾何学的制約付き独立ベクトル分析の車室内音声強調への適用2021

    • 著者名/発表者名
      後藤加奈, 李莉, 高橋理希, 牧野昭二, 山田武志
    • 学会等名
      日本音響学会2021年春季研究発表会講演論文集, 2-1-13, pp. 249-252
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Teacher-Student学習を用いたWave-U-netによる低遅延リアルタイム音声強調2021

    • 著者名/発表者名
      中岡想太郎, 井上翔太, 李莉, 牧野昭二
    • 学会等名
      日本音響学会2021年春季研究発表会講演論文集, 2-1-6, pp. 225-228
    • 関連する報告書
      2020 実績報告書
  • [学会発表] SepNet: 高速多チャンネル音源分離のための分離行列予測ネットワーク2021

    • 著者名/発表者名
      井上翔太, 亀岡弘和, 李莉, 牧野昭二
    • 学会等名
      日本音響学会2021年春季研究発表会講演論文集, 2-1-5, pp. 221-224
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 識別的変分自己符号化器学習による特定話者モノラル音声分離2021

    • 著者名/発表者名
      村島允也, 牧野昭二, 亀岡弘和, 李莉, 関翔悟
    • 学会等名
      日本音響学会2021年春季研究発表会講演論文集, 2-1-1, pp. 205-208
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Geometrically constrained independent vector analysis for directional speech enhancement2020

    • 著者名/発表者名
      Li Li, Kazuhito Koishida
    • 学会等名
      2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2020), pp. 846-850
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Determined audio source separation with multichannel star generative adversarial network2020

    • 著者名/発表者名
      Li Li, Hirokazu Kameoka, Shoji Makino
    • 学会等名
      The 30th IEEE International Workshop on Machine Learning for Signal Processing (MLSP2020)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Online directional speech enhancement using geometrially constrained independent vector analysis2020

    • 著者名/発表者名
      Li Li, Kazuhito Koishida, Shoji Makino
    • 学会等名
      The 21th Annual Conference of the International Speech Communication Association (Interspeech2020), pp. 61-65
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Study on geometrically constrained IVA with auxiliary function approach and VCD for in-car communication2020

    • 著者名/発表者名
      Kana Goto, Li Li, Riki Takahashi, Shoji Makino, Takeshi Yamada
    • 学会等名
      The 12th annual conference of Asia-Pacific Signal and Information Processing Association (APSIPA2020), pp. 858-862
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 一般化指令応答モデルを用いた変分自己符号化器に基づく歌唱F0パターンの生成2020

    • 著者名/発表者名
      多賀遥香,関翔悟,李莉,武田一哉,戸田智基
    • 学会等名
      日本音響学会2020年秋季研究発表会講演論文集,1-2-16,pp. 731-732
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Underdetermined multichannel speech enhancement using time-frequency-bin-wise switching beamformer and gated CNN-based time-frequency mask for reverberant environments2020

    • 著者名/発表者名
      Riki Takahashi, Kouei Yamaoka, Li Li, Shoji Makino, Takeshi Yamada, Mitsuo Matsumoto
    • 学会等名
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP2020)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Geometrically constrained independent vector analysis for directional speech enhancement2020

    • 著者名/発表者名
      Li Li, Kazuhito Koishida
    • 学会等名
      2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2020)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Fast MVAE: Joint separation and classification of mixed sources based on multichannel variational autoencoder with auxiliary classifier2019

    • 著者名/発表者名
      Li Li, Hirokazu Kameoka, Shoji Makino
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2019), pp. 546-550
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Joint separation and dereverberation of reverberant mixtures with multichannel variational autoencoder2019

    • 著者名/発表者名
      Shota Inoue, Hirokazu Kameoka, Li Li, Shogo Seki, Shoji Makino
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2019), pp. 56-60
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Voice activity detection under high levels of noise using gated convolutional neural networks2019

    • 著者名/発表者名
      Li Li, Kouei Yamaoka, Yuki Koshino, Mitsuo Matsumoto, Shoji Makino
    • 学会等名
      International Congress on Acoustics (ICA2019), pp.6988-6995
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Generalized multichannel variational autoencoder for underdetermined source separation2019

    • 著者名/発表者名
      Shogo Seki, Hirokazu Kameoka, Li Li, Tomoki Toda, Kazuya Takeda
    • 学会等名
      The 2019 European Signal Processing Conference (EUSIPCO2019), pp. 1973-1977
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Joint separation, dereverberation and classification of mixed sources using multichannel variational autoencoder with auxiliary classifier2019

    • 著者名/発表者名
      Shota Inoue, Li Li, Hirokazu Kameoka, Shoji Makino
    • 学会等名
      International Congress on Acoustics (ICA2019), pp.6988-6995
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] CNN-based virtual microphone signal estimation for MPDR Beamforming in underdetermined situations2019

    • 著者名/発表者名
      Kouei Yamaoka, Li Li, Nobutaka Ono, Shoji Makino, Takeshi Yamada
    • 学会等名
      The 2019 European Signal Processing Conference (EUSIPCO2019), pp. 1049-1053
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Improving singing aid system for laryngectomees with statistical voice conversion and VAE-SPACE2019

    • 著者名/発表者名
      Li Li, Tomoki Toda, Kazuho Morikawa, Kazuhiro Kobayashi, Shoji Makino
    • 学会等名
      20th International Society for Music Information Retrieval Conference (ISMIR2019), pp. 784-790
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 多チャンネル変分自己符号化器法による任意話者の音源分離2019

    • 著者名/発表者名
      李莉,亀岡弘和,井上翔太,牧野昭二
    • 学会等名
      電子情報通信学会技術研究報告, vol. 119, no. 334, EA2019-77, pp. 79-84
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Fast MVAE: Joint separation and classification of mixed sources based on multichannel variational autoencoder with auxiliary classifier2019

    • 著者名/発表者名
      Li Li, Hirokazu Kameoka, and Shoji Makino
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2019), pp. 546-550
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Joint separation and dereverberation of reverberant mixtures with multichannel variational autoencoder2019

    • 著者名/発表者名
      Shota Inoue, Hirokazu Kameoka, Li Li, Shogo Seki, and Shoji Makino
    • 学会等名
      2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2019), pp. 96-100
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Voice activity detection under high levels of noise using gated convolutional neural networks2019

    • 著者名/発表者名
      Li Li, Kouei Yamaoka, Yuki Koshino, Mitsuo Matsumoto, and Shoji Makino
    • 学会等名
      International Congress on Acoustics (ICA2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Joint separation, dereverberation and classification of mixed sources using multichannel variational autoencoder with auxiliary classifier2019

    • 著者名/発表者名
      Shota Inoue, Li Li, Hirokazu Kameoka, and Shoji Makino
    • 学会等名
      International Congress on Acoustics (ICA2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 音源クラス識別器つき多チャンネル変分自己符号化器を用いた高速セミブラインド音源分離2019

    • 著者名/発表者名
      李莉,亀岡弘和,牧野昭二
    • 学会等名
      日本音響学会2019年春季研究発表会,1-6-10,pp. 201-204
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 多チャンネル変分自己符号化器を用いた劣決定音源分離2019

    • 著者名/発表者名
      関翔悟,亀岡弘和,李莉,戸田智基,武田一哉
    • 学会等名
      日本音響学会2019年春季研究発表会,1-6-20,pp. 229-230
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 多チャンネル変分自己符号化器を用いた音源分離と残響除去の統合的アプローチ2019

    • 著者名/発表者名
      井上翔太,亀岡弘和,李莉,関翔悟,牧野昭二
    • 学会等名
      日本音響学会2019年春季研究発表会,2-Q-32,pp. 399-402
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 時間周波数スイッチングビームフォーマとGated CNNを用いた時間周波数マスクの組み合わせによる劣決定音声強調2019

    • 著者名/発表者名
      髙橋理希,山岡洸瑛,李莉,牧野昭二,山田武
    • 学会等名
      日本音響学会2019年春季研究発表会,1-6-5,pp. 181-184
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Gated CNNを用いた劣悪な雑音環境下における音声区間検出2019

    • 著者名/発表者名
      李莉,越野ゆき,松本光雄,牧野昭二
    • 学会等名
      電子情報通信学会 電気音響研究会, EA2018-102, pp. 19-24
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 多チャンネル変分自己符号化器を用いた劣決定音源分離の評価2019

    • 著者名/発表者名
      関翔悟,亀岡弘和,李莉,戸田智基,武田一哉
    • 学会等名
      電子情報通信学会 電気音響研究会, EA2018-154, pp. 323-328
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Deep clustering with gated convolutional networks2018

    • 著者名/発表者名
      Li Li, and Hirokazu Kameoka
    • 学会等名
      2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2018), pp. 16-20
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [備考] MVAE法とFastMVAE法のオープンソース

    • URL

      https://github.com/lili-0805/MVAE

    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2018-05-01   更新日: 2024-03-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi