• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

音環境の認識と理解のための革新的マイクロホンアレー基盤技術の研究

Research Project

Project/Area Number 19H04131
Research InstitutionWaseda University

Principal Investigator

牧野 昭二  早稲田大学, 理工学術院(情報生産システム研究科・センター), 特任教授 (60396190)

Co-Investigator(Kenkyū-buntansha) 猿渡 洋  東京大学, 大学院情報理工学系研究科, 教授 (30324974)
山田 武志  筑波大学, システム情報系, 准教授 (20312829)
Project Period (FY) 2019-04-01 – 2022-03-31
Keywordsブラインド音源分離 / 音響イベント検出 / 音情景解析
Outline of Annual Research Achievements

[検討項目1] 音の伝播の物理的なモデルに基づいて観測信号を補間し、実際には存在しない、いわばバーチャルな観測信号を作り出して素子数を擬似的に増やすことにより、音源数に依存することなく高品質な出力を得るための統一的なアレー信号処理を検討した。擬似観測の振幅は非線形補間により推定した。擬似観測を用いた音声強調の劣決定拡張により、擬似観測の基本的な検証を行った。さらに、バーチャルマイクロホンの動作原理の解明と高性能化を図った。今期は、国際会議発表2件、および、国内大会発表1件の研究成果を得た。
[検討項目2] 音環境からの情報を利用した多チャネル信号処理アルゴリズムを開発した。既存のアルゴリズムを分散型マイクロホンアレーに対応できるように一般化し、さらに強力な最適化規範を導入した。分散型マイクロホンアレーにおけるサブアレーの同期手法を開発した。ブラインド音源分離/抽出アルゴリズムや多チャネル残響除去アルゴリズムを分散型マイクロホンアレーに対応できるように開発した。さらに、必要なマイクロホンを最小化して演算量を削減しながら、性能を最適化するためのマイクロホン選択手法も検討した。今期は、雑誌論文4件、国際会議発表7件、および、国内大会発表9件の研究成果を得た。
[検討項目3] 強調された音源信号から抽出した特徴量に基づき、音環境を解析・理解した。音源信号に関する先見知識を利用し、特徴量次元での分類法も利用した。分類精度を向上させるために、深層学習などの最新の音声認識技術を活用した。今期は、国際会議発表1件、および、国内大会発表1件の研究成果を得た。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究は順調に進展し、雑誌論文4件、国際会議発表10件、国内大会発表11件の研究成果を得た。
予算執行は、新型コロナウイルス感染症による影響により、遅れている。

Strategy for Future Research Activity

[検討項目1] 音の伝播の物理的なモデルに基づいて観測信号を補間し、実際には存在しない、いわばバーチャルな観測信号を作り出して素子数を擬似的に増やすことにより、音源数に依存することなく高品質な出力を得るための統一的なアレー信号処理を検討する。擬似観測の振幅は非線形補間により推定する。擬似観測を用いた音声強調の劣決定拡張により、擬似観測の基本的な検証を行う。さらに、バーチャルマイクロホンの動作原理の解明と高性能化を図る。
[検討項目2] 音環境からの情報を利用した多チャネル信号処理アルゴリズムを開発する。既存のアルゴリズムを分散型マイクロホンアレーに対応できるように一般化し、さらに強力な最適化規範を導入する。分散型マイクロホンアレーにおけるサブアレーの同期手法を開発する。ブラインド音源分離/抽出アルゴリズムや多チャネル残響除去アルゴリズムを分散型マイクロホンアレーに対応できるように開発する。さらに、必要なマイクロホンを最小化して演算量を削減しながら、性能を最適化するためのマイクロホン選択手法も検討する。
[検討項目3] 強調された音源信号から抽出した特徴量に基づき、音環境を解析・理解する。音源信号に関する先見知識を利用し、特徴量次元での分類法も利用する。分類精度を向上させるために、深層学習などの最新の音声認識技術を活用する。

  • Research Products

    (25 results)

All 2021 2020

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 4 results) Presentation (21 results) (of which Int'l Joint Research: 10 results,  Invited: 1 results)

  • [Journal Article] Majorization-minimization algorithm for discriminative non-negative matrix factorization2020

    • Author(s)
      L. Li, H. Kameoka, and S. Makino
    • Journal Title

      IEEE Access

      Volume: vol. 8 Pages: 227399-227408

    • DOI

      10.1109/ACCESS.2020.3045791

    • Peer Reviewed / Open Access
  • [Journal Article] FastMVAE: A fast optimization algorithm for the multichannel variational autoencoder method2020

    • Author(s)
      L. Li, H. Kameoka, S. Inoue, and S. Makino
    • Journal Title

      IEEE Access

      Volume: vol. 8 Pages: 228740-228753

    • DOI

      10.1109/ACCESS.2020.3045704

    • Peer Reviewed / Open Access
  • [Journal Article] Blind Speech Extraction Based on Rank-Constrained Spatial Covariance Matrix Estimation With Multivariate Generalized Gaussian Distribution2020

    • Author(s)
      Yuki Kubo, Norihiro Takamune, Daichi Kitamura, and Hiroshi Saruwatari
    • Journal Title

      IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING

      Volume: VOL. 28 Pages: 1948 - 1963

    • DOI

      10.1109/TASLP.2020.3003165

    • Peer Reviewed / Open Access
  • [Journal Article] Multichannel blind source separation based on evanescent-region-aware non-negative tensor factorization in spherical harmonic domain2020

    • Author(s)
      Yuki Mitsufuji, Norihiro Takamune, Shoichi Koyama, Hiroshi Saruwatari
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech and Language Processing

      Volume: Volume: 29 Pages: 607 - 617

    • DOI

      10.1109/TASLP.2020.3045528

    • Peer Reviewed / Open Access
  • [Presentation] VMInNet: Interpolation of virtual microphones in optimal latent space explored by autoencoder2021

    • Author(s)
      R. Takahashi, L. Li, S. Makino, and T. Yamada
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP2021)
    • Int'l Joint Research
  • [Presentation] Single-channel multi-speaker separation via discriminative training of variational autoencoder spectrogram model2021

    • Author(s)
      N. Murashima, H. Kameoka, L. Li, S. Seki, and S. Makino
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP2021)
    • Int'l Joint Research
  • [Presentation] Monitoring of domestic activities using multiple beamformers and attention mechanism2021

    • Author(s)
      Y. Kaneko, T. Yamada, and S. Makino
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP2021)
    • Int'l Joint Research
  • [Presentation] Joint-Diagonalizability-Constrained Multichannel Nonnegative Matrix Factorization Based on Multivariate Complex Sub-Gaussian Distribution2021

    • Author(s)
      Keigo Kamo, Yuki Kubo, Norihiro Takamune, Daichi Kitamura, Hiroshi Saruwatari, Yu Takahashi and Kazunobu Kondo
    • Organizer
      European Signal Processing Conference (EUSIPCO 2020)
    • Int'l Joint Research
  • [Presentation] SepNet: 高速多チャンネル音源分離のための分離行列予測ネットワーク2021

    • Author(s)
      井上翔太, 亀岡弘和, 李莉, 牧野昭二
    • Organizer
      日本音響学会 2021年春季研究発表会講演論文集
  • [Presentation] 識別的変分自己符号化器学習による特定話者モノラル音声分離2021

    • Author(s)
      村島允也, 亀岡弘和, 李莉, 関翔悟, 牧野昭二
    • Organizer
      日本音響学会 2021年春季研究発表会講演論文集
  • [Presentation] 低遅延でオンライン動作する残響除去と音源分離の同時最適化2021

    • Author(s)
      上田哲也, 中谷智広, 池下林太郎, 木下慶介, 荒木章子, 牧野昭二
    • Organizer
      日本音響学会 2021年春季研究発表会講演論文集
  • [Presentation] Teacher-Student 学習を用いたWave-U-Net による低遅延リアルタイム音声強調2021

    • Author(s)
      中岡想太郎, 李莉, 井上翔太, 牧野昭二
    • Organizer
      日本音響学会 2021年春季研究発表会講演論文集
  • [Presentation] 車室内の三角マイクロフォンアレイへのヴァーチャルマイクロフォン技術の適用2021

    • Author(s)
      瀬川華子, 髙橋理希, 李莉, 陣在遼河, 牧野昭二, 山田武志
    • Organizer
      日本音響学会 2021年春季研究発表会講演論文集
  • [Presentation] 補助関数法に基づく幾何学的制約付き独立ベクトル分析の車室内音声強調への適用2021

    • Author(s)
      後藤加奈, 髙橋理希, 李莉, 牧野昭二, 山田武志
    • Organizer
      日本音響学会 2021年春季研究発表会講演論文集
  • [Presentation] 音響イベント検出と位置推定における転移学習の効果の検証2021

    • Author(s)
      陳軼夫, 山田武志, 牧野昭二
    • Organizer
      日本音響学会 2021年春季研究発表会講演論文集
  • [Presentation] 車室内環境でのWave-U-Netによる雑音除去の検討2021

    • Author(s)
      樋口隼太, 李莉, 井上翔太, 牧野昭二, 山田武志
    • Organizer
      電子情報通信学会 2021年 総合大会
  • [Presentation] 多変量複素Sub-Gauss分布に基づく同時対角化制約付き多チャネル非負値行列因子分解におけるmajorization-equalizationアルゴリズムを用いた更新則2021

    • Author(s)
      加茂佳吾,久保優騎,高宗典玄,北村大地,猿渡洋,高橋祐,近藤多伸
    • Organizer
      日本音響学会 2021年春季研究発表会講演論文集
  • [Presentation] Online directional speech enhancement using geometrically constrained independent vector analysis2020

    • Author(s)
      L. Li, H. Kameoka, S. Makino
    • Organizer
      IEEE International Workshop on Machine Learning for Signal Processing (MLSP2020)
    • Int'l Joint Research
  • [Presentation] Online directional speech enhancement using geometrically constrained independent vector analysis2020

    • Author(s)
      L. Li, K. Koishida, and S. Makino
    • Organizer
      Interspeech2020
    • Int'l Joint Research
  • [Presentation] Multichannel hearing-aid system based on basis-shared semi-supervised independent low-rank matrix analysis2020

    • Author(s)
      M. Une, Y. Kubo, N. Takamune, D. Kitamura, H. Saruwatari, and S. Makino
    • Organizer
      Forum Acusticum2020
    • Int'l Joint Research
  • [Presentation] Study on geometrically constrained IVA with auxiliary function approach and VCD for in-car communication2020

    • Author(s)
      K. Goto, L. Li, R. Takahashi, S. Makino, and T. Yamada
    • Organizer
      Asia-Pacific Signal and Information Processing Association (APSIPA 2020)
    • Int'l Joint Research / Invited
  • [Presentation] Applying virtual microphones to triangular microphone array in in-car communication2020

    • Author(s)
      H. Segawa, R. Takahashi, R. Jinzai, S. Makino, and T. Yamada
    • Organizer
      Asia-Pacific Signal and Information Processing Association (APSIPA 2020)
    • Int'l Joint Research
  • [Presentation] Joint-Diagonalizability-Constrained Multichannel Nonnegative Matrix Factorization Based on Multivariate Complex Student’s t-distribution2020

    • Author(s)
      Keigo Kamo, Yuki Kubo, Norihiro Takamune, Daichi Kitamura, Hiroshi Saruwatari, Yu Takahashi and Kazunobu Kondo
    • Organizer
      Asia-Pacific Signal and Information Processing Association (APSIPA 2020)
    • Int'l Joint Research
  • [Presentation] ブラインド音声抽出のためのランク制約付き空間共分散行列推定法における雑音欠落ランク空間基底推定2020

    • Author(s)
      近藤祐斗, 久保優騎, 高宗典玄(東大), 北村大地(香川高専), 猿渡洋(東大)
    • Organizer
      日本音響学会2020秋季研究発表会
  • [Presentation] 多変量複素Sub-Gauss分布に基づく同時対角化制約付き多チャネル非負値行列因子分解の様々な残響条件下における実験的評価2020

    • Author(s)
      加茂佳吾,久保優騎,高宗典玄,北村大地,猿渡洋,高橋祐,近藤多伸
    • Organizer
      日本音響学会 2020年秋季研究発表会講演論文集

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi