• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

音響信号の振幅位相関係を考慮した複素スペクトル領域音声強調と応用

研究課題

研究課題/領域番号 20K19827
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関豊橋技術科学大学 (2022-2023)
東京都立大学 (2020-2021)

研究代表者

若林 佑幸  豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (80826462)

研究期間 (年度) 2020-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2022年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2021年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2020年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワード複素領域信号処理 / 位相処理 / 音場補間 / 深層学習 / 複素スペクトル / 位相スぺクトル / 位相復元 / 符号不定性 / 音響信号処理 / アレイ信号処理 / 位相信号処理 / 振幅・位相関連性 / 音声区間検出 / 振幅位相復元 / 音声強調
研究開始時の研究の概要

本研究は,特に周囲の雑音により音質の劣化した音響信号の強調・復元に取り組むものである.近年の音響信号処理では信号の振幅スペクトル,位相スペクトルという二つの特徴に着目し,個別で処理するものが一般的であるが,理論・実験の両面からこれらのスペクトルは強い関係性を持つことが示唆されている.この関係性に着目し,振幅・位相を統合的に取り扱うための基礎理論を構築し,信号処理へ応用する.

研究実績の概要

本研究の目的は,音響信号の周波数解析によって得られる振幅スペクトルと位相スペクトルの関連性を考慮した音響信号強調手法の基礎理論構築とその他の音響信号処理への応用である.
第四年度では,第三年度中に投稿した時間・周波数領域における振幅と位相の統計的挙動の関係性を深層学習に応用させた学術雑誌論文が音響信号処理のトップジャーナルであるIEEE Trans. ASLPに採択された.
また,深層学習における誤差関数と学習データ拡張について分析を行い,位相と振幅の関連を考慮した音響信号処理の効率化へ展開させた.具体的には,振幅強度依存係数を導入した位相スペクトル誤差関数,位相スペクトルの時間変化を考慮したデータ拡張手法を提案した.本手法によって従来手法よりも低演算量高性能な位相スペクトル推定モデルを構築できた.この結果は音声処理のトップカンファレンスであるINTERSPEECHに採択された.
さらなる展開として,音響信号の振幅位相関係を複素数平面上の関係と関連付け,音響信号処理に応用する新たな取り組みを行った.複素関数論におけるコーシー・リーマン方程式を音響信号処理の枠組みに導入する新しい方法論の提案を行った.この取り組みは初年度から取り組んでいたが,ようやく日本音響学会秋季研究発表会にて発表を行った.
また,異なるアプローチとして,複数のマイクロホンによる音響信号の振幅位相関係を考慮した信号処理にも取り組んだ.本手法では,基礎的な信号処理理論を通して,音の空間上の伝搬特徴を音響信号の振幅位相関係と関連付けることで,音場補間を実現することが可能となった.この研究成果は音のバーチャルリアリティ分野やロボット聴覚への応用が期待できる.この結果をまとめた学術雑誌論文もまたトップジャーナルIEEE Trans. ASLPに採択された.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

前年度にてに取り組んだ研究成果をまとめた学術雑誌論文が二編とも,目標であった音響信号処理のトップジャーナルに採択され,大きな成果があった.
また,深層学習に関連した新しい取り組みの一つは音声処理のトップカンファレンスに採択され,現地での発表において聴衆からの良い反応が得られた.
初年度から取り組んでいる,振幅と位相の関連性を考慮した複素数領域での音響信号強調手法の基礎理論構築については,国内の日本音響学会において発表することができ,次への展開が期待できるものであったため,大きな進展があったと言える.

今後の研究の推進方策

今後は,振幅と位相の関連性を考慮した複素数領域での音響信号強調手法の基礎理論構築についての本年度の結果を発展させ,ICASSPやAPSIPAなどの査読付き国際学会へ投稿した後に,さらに拡充し,査読付き英語学術論文誌への投稿を目指す.本理論は応用分野が多いことが予想されるため,様々な信号処理への展開が期待できる.

報告書

(4件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (13件)

すべて 2023 2022 2021 その他

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 2件) 学会発表 (7件) (うち国際学会 2件) 備考 (3件)

  • [雑誌論文] Sound Field Interpolation for Rotation-Invariant Multichannel Array Signal Processing2023

    • 著者名/発表者名
      Wakabayashi Yukoh、Yamaoka Kouei、Ono Nobutaka
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 31 ページ: 2286-2298

    • DOI

      10.1109/taslp.2023.3282098

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Inter-Frequency Phase Difference for Phase Reconstruction Using Deep Neural Networks and Maximum Likelihood2023

    • 著者名/発表者名
      Thien Nguyen Binh、Wakabayashi Yukoh、Iwai Kenta、Nishiura Takanobu
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 31 ページ: 1667-1680

    • DOI

      10.1109/taslp.2023.3268577

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Analysis of derivative of instantaneous frequency and its application to voice activity detection2021

    • 著者名/発表者名
      Binh Thien NGUYEN, Yukoh WAKABAYASHI, Kenta IWAI, and Takanobu NISHIURA
    • 雑誌名

      Applied Acoustics

      巻: 181 ページ: 1-11

    • DOI

      10.1016/j.apacoust.2021.108116

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [学会発表] Weighted von Mises distribution-based loss function for real-time STFT phase reconstruction using DNN2023

    • 著者名/発表者名
      Binh Thien Nguyen
    • 学会等名
      INTERSPEECH2023
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] コーシー・リーマン関係式に基づく時間周波数領域での振幅と位相の無矛盾度分析2023

    • 著者名/発表者名
      若林佑幸
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Von Mises Mixture Model-based DNN for Sign Indetermination Problem in Phase Reconstruction2022

    • 著者名/発表者名
      Thien Nguyen Binh、Wakabayashi Yukoh、Yuting Geng、Iwai Kenta、Nishiura Takanobu
    • 学会等名
      APSIPA2022
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Two-stage phase reconstruction using inter-frequency phase difference2022

    • 著者名/発表者名
      Thien Nguyen Binh、Wakabayashi Yukoh、Yuting Geng、Iwai Kenta、Nishiura Takanobu
    • 学会等名
      日本音響学会2022年秋季研究発表会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 円周上の音場補間を利用した移動音源のステアリングベクトル推定2021

    • 著者名/発表者名
      若林佑幸,山岡洸瑛,小野順貴
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Maximum likelihood estimation for phase reconstruction from its derivatives2021

    • 著者名/発表者名
      Binh Thien Nguyen, Yukoh Wakabayashi, Kenta Iwai, Takanobu Nishiura
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Two-stage phase reconstruction using DNN and von Mises distribution-based maximum likelihood2021

    • 著者名/発表者名
      Binh Thien Nguyen, Yukoh Wakabayashi, Kenta Iwai, Takanobu Nishiura
    • 学会等名
      2021 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [備考] 個人ページ

    • URL

      https://sites.google.com/view/yukohwakabayashi-homepage/

    • 関連する報告書
      2023 実施状況報告書
  • [備考] 研究者のWebページ

    • URL

      https://sites.google.com/view/yukohwakabayashi-homepage/%E3%83%9B%E3%83%BC%E3%83%A0

    • 関連する報告書
      2022 実施状況報告書
  • [備考] HOME PAGE Yukoh Wakabayashi

    • URL

      https://sites.google.com/view/yukohwakabayashi-homepage/

    • 関連する報告書
      2020 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi