• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

音響信号の振幅位相関係を考慮した複素スペクトル領域音声強調と応用

Research Project

Project/Area Number 20K19827
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionToyohashi University of Technology (2022-2023)
Tokyo Metropolitan University (2020-2021)

Principal Investigator

若林 佑幸  豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (80826462)

Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywords複素領域信号処理 / 位相処理 / 音場補間 / 深層学習 / 複素スペクトル / 位相スぺクトル / 位相復元 / 符号不定性 / 音響信号処理 / アレイ信号処理 / 位相信号処理 / 振幅・位相関連性 / 音声区間検出 / 振幅位相復元 / 音声強調
Outline of Research at the Start

本研究は,特に周囲の雑音により音質の劣化した音響信号の強調・復元に取り組むものである.近年の音響信号処理では信号の振幅スペクトル,位相スペクトルという二つの特徴に着目し,個別で処理するものが一般的であるが,理論・実験の両面からこれらのスペクトルは強い関係性を持つことが示唆されている.この関係性に着目し,振幅・位相を統合的に取り扱うための基礎理論を構築し,信号処理へ応用する.

Outline of Annual Research Achievements

本研究の目的は,音響信号の周波数解析によって得られる振幅スペクトルと位相スペクトルの関連性を考慮した音響信号強調手法の基礎理論構築とその他の音響信号処理への応用である.
第四年度では,第三年度中に投稿した時間・周波数領域における振幅と位相の統計的挙動の関係性を深層学習に応用させた学術雑誌論文が音響信号処理のトップジャーナルであるIEEE Trans. ASLPに採択された.
また,深層学習における誤差関数と学習データ拡張について分析を行い,位相と振幅の関連を考慮した音響信号処理の効率化へ展開させた.具体的には,振幅強度依存係数を導入した位相スペクトル誤差関数,位相スペクトルの時間変化を考慮したデータ拡張手法を提案した.本手法によって従来手法よりも低演算量高性能な位相スペクトル推定モデルを構築できた.この結果は音声処理のトップカンファレンスであるINTERSPEECHに採択された.
さらなる展開として,音響信号の振幅位相関係を複素数平面上の関係と関連付け,音響信号処理に応用する新たな取り組みを行った.複素関数論におけるコーシー・リーマン方程式を音響信号処理の枠組みに導入する新しい方法論の提案を行った.この取り組みは初年度から取り組んでいたが,ようやく日本音響学会秋季研究発表会にて発表を行った.
また,異なるアプローチとして,複数のマイクロホンによる音響信号の振幅位相関係を考慮した信号処理にも取り組んだ.本手法では,基礎的な信号処理理論を通して,音の空間上の伝搬特徴を音響信号の振幅位相関係と関連付けることで,音場補間を実現することが可能となった.この研究成果は音のバーチャルリアリティ分野やロボット聴覚への応用が期待できる.この結果をまとめた学術雑誌論文もまたトップジャーナルIEEE Trans. ASLPに採択された.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

前年度にてに取り組んだ研究成果をまとめた学術雑誌論文が二編とも,目標であった音響信号処理のトップジャーナルに採択され,大きな成果があった.
また,深層学習に関連した新しい取り組みの一つは音声処理のトップカンファレンスに採択され,現地での発表において聴衆からの良い反応が得られた.
初年度から取り組んでいる,振幅と位相の関連性を考慮した複素数領域での音響信号強調手法の基礎理論構築については,国内の日本音響学会において発表することができ,次への展開が期待できるものであったため,大きな進展があったと言える.

Strategy for Future Research Activity

今後は,振幅と位相の関連性を考慮した複素数領域での音響信号強調手法の基礎理論構築についての本年度の結果を発展させ,ICASSPやAPSIPAなどの査読付き国際学会へ投稿した後に,さらに拡充し,査読付き英語学術論文誌への投稿を目指す.本理論は応用分野が多いことが予想されるため,様々な信号処理への展開が期待できる.

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (13 results)

All 2023 2022 2021 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (7 results) (of which Int'l Joint Research: 2 results) Remarks (3 results)

  • [Journal Article] Sound Field Interpolation for Rotation-Invariant Multichannel Array Signal Processing2023

    • Author(s)
      Wakabayashi Yukoh、Yamaoka Kouei、Ono Nobutaka
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: 31 Pages: 2286-2298

    • DOI

      10.1109/taslp.2023.3282098

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Inter-Frequency Phase Difference for Phase Reconstruction Using Deep Neural Networks and Maximum Likelihood2023

    • Author(s)
      Thien Nguyen Binh、Wakabayashi Yukoh、Iwai Kenta、Nishiura Takanobu
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: 31 Pages: 1667-1680

    • DOI

      10.1109/taslp.2023.3268577

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Analysis of derivative of instantaneous frequency and its application to voice activity detection2021

    • Author(s)
      Binh Thien NGUYEN, Yukoh WAKABAYASHI, Kenta IWAI, and Takanobu NISHIURA
    • Journal Title

      Applied Acoustics

      Volume: 181 Pages: 1-11

    • DOI

      10.1016/j.apacoust.2021.108116

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] Weighted von Mises distribution-based loss function for real-time STFT phase reconstruction using DNN2023

    • Author(s)
      Binh Thien Nguyen
    • Organizer
      INTERSPEECH2023
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] コーシー・リーマン関係式に基づく時間周波数領域での振幅と位相の無矛盾度分析2023

    • Author(s)
      若林佑幸
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] Von Mises Mixture Model-based DNN for Sign Indetermination Problem in Phase Reconstruction2022

    • Author(s)
      Thien Nguyen Binh、Wakabayashi Yukoh、Yuting Geng、Iwai Kenta、Nishiura Takanobu
    • Organizer
      APSIPA2022
    • Related Report
      2022 Research-status Report
  • [Presentation] Two-stage phase reconstruction using inter-frequency phase difference2022

    • Author(s)
      Thien Nguyen Binh、Wakabayashi Yukoh、Yuting Geng、Iwai Kenta、Nishiura Takanobu
    • Organizer
      日本音響学会2022年秋季研究発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] 円周上の音場補間を利用した移動音源のステアリングベクトル推定2021

    • Author(s)
      若林佑幸,山岡洸瑛,小野順貴
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] Maximum likelihood estimation for phase reconstruction from its derivatives2021

    • Author(s)
      Binh Thien Nguyen, Yukoh Wakabayashi, Kenta Iwai, Takanobu Nishiura
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] Two-stage phase reconstruction using DNN and von Mises distribution-based maximum likelihood2021

    • Author(s)
      Binh Thien Nguyen, Yukoh Wakabayashi, Kenta Iwai, Takanobu Nishiura
    • Organizer
      2021 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Remarks] 個人ページ

    • URL

      https://sites.google.com/view/yukohwakabayashi-homepage/

    • Related Report
      2023 Research-status Report
  • [Remarks] 研究者のWebページ

    • URL

      https://sites.google.com/view/yukohwakabayashi-homepage/%E3%83%9B%E3%83%BC%E3%83%A0

    • Related Report
      2022 Research-status Report
  • [Remarks] HOME PAGE Yukoh Wakabayashi

    • URL

      https://sites.google.com/view/yukohwakabayashi-homepage/

    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi