• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

位相差のモデルを活用したアドホックマイクロホンアレイ信号処理

Research Project

Project/Area Number 22KJ2545
Project/Area Number (Other) 21J21371 (2021-2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2021-2022)
Section国内
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionTokyo Metropolitan University

Principal Investigator

升山 義紀  東京都立大学, 大学院システムデザイン研究科, 特別研究員(DC1)

Project Period (FY) 2023-03-08 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥3,100,000 (Direct Cost: ¥3,100,000)
Fiscal Year 2023: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2022: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2021: ¥1,100,000 (Direct Cost: ¥1,100,000)
Keywords音響信号処理 / ビームフォーミング / 分散デバイス / 低遅延 / 遠隔音声認識 / アレイ信号処理 / 最適化
Outline of Research at the Start

本研究の目的は、スマートフォンやタブレットPCなどの録音機能を有した機器を連携させること(アドホックアレイ信号処理)で、広範囲の音情報を取得し高精度なコミュニケーション分析・音環境理解を実現することである。アドホックアレイでは各マイクが同期されていないことで、通常のアレイ信号処理技術がそのままでは適用できない。そこで本研究では、収録された音響信号のみから同期を行う技術を確立し、更に深層ニューラルネットワークを用いて広範囲の音情報に基づいた音源分離・認識を統合的に行う。

Outline of Annual Research Achievements

本研究課題ではマイクロホンアレイを用いた多チャネル音響信号処理の実応用を見据え,分散配置されたデバイスを連携させ信号処理を行うアドホックアレイ信号処理,アレイ信号処理の低遅延化,さらにアレイ信号処理と音声認識の統合に取り組んできた.
アドホックアレイ信号処理では,スマートフォンやタブレットPCといった電子機器ごとのサンプリング周波数のずれにより,通常のアレイでは定常になるマイク間の位相差が非定常になり,従来のアレイ信号処理技術がそのままでは適用できなくなるという課題がある.本年度は昨年度に引き続きサンプリング周波数のずれの推定・補償に取り組み,提案手法のマイク数・音源数・残響時間などに対する頑健性を調査し条件によらず提案手法が有効であることを確認した.また,会議における議事録作成やスマートスピーカのインターフェースへの応用を見据えて,アレイ信号処理と音声認識の統合にも取り組んだ.本年度はビームフォーミングだけではなくTF-GridNetという最先端の多チャネル音声強調・分離技術も検討し,雑音・残響を含む複数人の会話の認識において単語誤り率を既存技術の1/8以下まで削減した.
一連の研究を通じて,アドホックアレイの高精度な同期やビームフォーミングの低遅延化を実現し,アレイ信号処理技術の適用範囲を拡張した.これらの課題を複数表現間の一貫性を考慮した最適化問題として定式化し,その効率的な解法を導出した.またCarnegie Mellon Universityとの共同研究では,深層学習に基づく多チャネル音声強調・分離技術を聴覚拡張や音声認識といった応用に合わせて最適化し,目的に応じて最適な音声強調・分離を実現した.

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (14 results)

All 2024 2023 2022 2021 Other

All Int'l Joint Research (1 results) Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (10 results) (of which Int'l Joint Research: 6 results)

  • [Int'l Joint Research] Carnegie Mellon University(米国)

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Efficient Joint Optimization of Sampling Rate Offsets Using Entire Multichannel Signal2024

    • Author(s)
      Y. Masuyama, K. Yamaoka, T. Kawamura, and N. Ono
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: 32 Pages: 1816-1828

    • DOI

      10.1109/taslp.2024.3369532

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Causal and Relaxed-Distortionless Response Beamforming for Online Target Source Extraction2024

    • Author(s)
      Y. Masuyama, K. Yamaoka, Y. Kinoshita, T. Nakashima, and N. Ono
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: 32 Pages: 310-324

    • DOI

      10.1109/taslp.2023.3329377

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Online Phase Reconstruction via DNN-Based Phase Differences Estimation2023

    • Author(s)
      Y. Masuyama, K. Yatabe, K. Nagatomo and Y. Oikawa
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: 31 Pages: 163-176

    • DOI

      10.1109/taslp.2022.3221041

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Presentation] Exploring the Integration of Speech Separation and Recognition with Self-Supervised Learning Representation2023

    • Author(s)
      Y. Masuyama, X. Chang, W. Zhang, S. Cornell, Z.-Q. Wang, N. Ono, Y. Qian, and S. Watanabe
    • Organizer
      IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Signal Reconstruction from Mel-Spectrogram Based on Bi-Level Consistency of Full-Band Magnitude and Phase2023

    • Author(s)
      Y. Masuyama, N. Ueno, and N. Ono
    • Organizer
      IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] End-to-End Integration of Speech Recognition, Dereverberation, Beamforming, and Self-Supervised Learning Representation2023

    • Author(s)
      Y. Masuyama, X. Chang, S. Cornell, S. Watanabe and N. Ono
    • Organizer
      IEEE Spoken Language Technology Workshop (SLT)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Multi-channel Target Speaker Extraction with Refinement: The Wavlab Submission to The Second Clarity Enhancement Challenge2022

    • Author(s)
      S. Cornell, Z. Q. Wang, Y. Masuyama, S. Watanabe, M. Pariente, N. Ono
    • Organizer
      Clarity Challenge
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Joint Optimization of Sampling Rate Offsets Based on Entire Signal Relationship Among Distributed Microphones2022

    • Author(s)
      Y. Masuyama, K. Yamaoka, N. Ono
    • Organizer
      Interspeech
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 因果的MPDRビームフォーマのオンライン化およびタップ長の影響評価2022

    • Author(s)
      升山義紀, 山岡洸瑛, 木下裕磨, 小野順貴
    • Organizer
      日本音響学会2022年秋季研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 尤度計算に用いる周波数帯域の逐次増大による初期値に頑健なブラインド同期2022

    • Author(s)
      升山義紀, 山岡洸瑛, 小野順貴
    • Organizer
      電子情報通信学会信号処理研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 補助関数法による複数の非同期録音信号のブラインド同期2022

    • Author(s)
      升山義紀, 山岡洸瑛, 小野順貴
    • Organizer
      日本音響学会春季研究発表会講演論文集
    • Related Report
      2021 Annual Research Report
  • [Presentation] Causal distortionless response beamforming by alternating direction method of multipliers2021

    • Author(s)
      Y. Masuyama, K. Yamaoka, Y. Kinoshita, N. Ono
    • Organizer
      Proc. Asia-Pacific Signal Inf. Process. Assoc. Annual Summit Conf. (APSIPA ASC)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 因果的MPDRビームフォーマの近接分離最適化による設計2021

    • Author(s)
      升山義紀, 山岡洸瑛, 木下裕磨, 小野順貴
    • Organizer
      日本音響学会秋季研究発表会講演論文集
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2021-05-27   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi