• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of sound source separation method focusing on the singular point in spatio-temporal spectrum

Research Project

Project/Area Number 19K04408
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 21030:Measurement engineering-related
Research InstitutionUniversity of Yamanashi

Principal Investigator

Ozawa Kenji  山梨大学, 大学院総合研究部, 教授 (30204192)

Co-Investigator(Kenkyū-buntansha) 渡辺 貫治  秋田県立大学, システム科学技術学部, 准教授 (20452998)
坂本 修一  東北大学, 電気通信研究所, 教授 (60332524)
Project Period (FY) 2019-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords音源分離 / 雑音抑圧 / マイクロホンアレイ / 時空間スペクトル / ニューラルネットワーク / 特異点 / フェーズドアレイ / 時空間音圧分布画像 / スパースベイズ信号処理 / ベイズ信号処理 / 2次元高速フーリエ変換
Outline of Research at the Start

スマートスピーカ・ヒアラブルデバイスなど音声インタフェースが身近な存在となり,また米国・韓国ではテレビのオブジェクトベースオーディオ放送が開始されるなど,所望の音のみを抽出することが有益な場面が増えている。本研究では,眼鏡フレームに搭載可能な程度の小規模マイクロホンアレイにより,高精度な目的音抽出の実現を目指す。その基本戦略として,アレイ出力を画像と見なした場合に,その時空間スペクトルにおいては音源位置が特異点となることを利用する。特に,方向が同一で距離のみが異なる複数音源からの抽出を可能とすることに意義があり,これにより空間全体を音オブジェクトの集合として分解できることを示す。

Outline of Final Research Achievements

In this study, we aimed to extract a target sound using a small-scale microphone array that can be installed on smartphones. To achieve this, we utilized the fact that in the spatiotemporal spectrum, the sound source position becomes a singularity when the array output is considered as an image (spatiotemporal sound pressure distribution image).
By using an array of four microphones in an arc of 6 cm, we succeeded in separating four sound sources located in the same direction. Furthermore, by collectively eliminating multiple sound sources located farther away than the target sound in the same direction, we demonstrated the possibility of extracting the target sound.
Using an array of eight microphones arranged in a straight line of 14 cm, we showed that even when there are multiple noise sources in the peripheral direction, it is possible to extract the target sound.

Academic Significance and Societal Importance of the Research Achievements

・イヤホンとマイクロホンにより情報の授受を行うヒアラブルデバイスは,歩行中にスマートフォンの画面を見ることの代替として発展が切望されている。特に日本では,高齢者の増加に伴い補聴器としての役割までが期待されている。例えば眼鏡フレームにマイクロホンアレイを埋め込めば,騒音中でも話し相手の声だけを抽出・増幅できる。
・次世代テレビジョンの音声チャネルについては,オブジェクトベースオーディオが主流になると考えられている。その実現のためには,音空間を音源ごとに分解してオブジェクトとして録音することが必要である。本研究成果により,スマートフォンにその機能を搭載することが可能である。

Report

(6 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (31 results)

All 2024 2023 2022 2021 2020 2019 Other

All Presentation (26 results) (of which Int'l Joint Research: 10 results) Remarks (1 results) Patent(Industrial Property Rights) (4 results) (of which Overseas: 3 results)

  • [Presentation] Sound source distance measurement using complex sparse Bayesian estimation with a small microphone array system2024

    • Author(s)
      Senta Ariizumi
    • Organizer
      The 9th International Congress on Information and Communication Technology (ICICT 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 複素スパースベイズ推定に基づく小規模マイクロホンアレイによる音源測距に関する考察2023

    • Author(s)
      有泉千太
    • Organizer
      情報処理学会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 複素スパースベイズ推定に基づく小規模マイクロホンアレイによる音源測距に関する検討2023

    • Author(s)
      有泉千太
    • Organizer
      電子情報通信学会応用音響研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 仮想的焦点形成と瞬時スペクトル推定法による同一到来方向の複数雑音低減に関する考察2023

    • Author(s)
      小澤賢司
    • Organizer
      日本音響学会2023年春季研究発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] Multiple noise suppression in the same direction using virtual focus and spectral subtraction2022

    • Author(s)
      Kenji Ozawa
    • Organizer
      The 11th IEEE Global Conference on Consumer Electronics (GCCE 2022)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Multiple noise suppression based on simultaneous learning and independent estimation of amplitude and phase of noise2022

    • Author(s)
      Kenji Ozawa
    • Organizer
      The 8th International Conference on Engineering and Emerging Technologies (ICEET 2022)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 小規模マイクロホンアレイによるスパースベイズ推定を用いた音源測距に関する検討2022

    • Author(s)
      有泉千太
    • Organizer
      電子情報通信学会応用音響研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 小規模マイクロホンアレイによるスパースベイズ推定を用いた音源測距に関する考察2022

    • Author(s)
      有泉千太
    • Organizer
      日本音響学会2022年秋季研究発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] Noise suppression system using deep learning for smart devices2022

    • Author(s)
      Koki Takenaka
    • Organizer
      The 4th IEEE Global Conference on Life Sciences and Technologies (LifeTech 2022)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 振幅・位相の依存性を考慮した独立推定に基づく雑音抑圧2022

    • Author(s)
      竹中幸輝
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] Separation of sound sources in the same direction via spectral estimation with a virtual focus2021

    • Author(s)
      Kenji Ozawa
    • Organizer
      The 10th IEEE Global Conference on Consumer Electronics (GCCE 2021)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Suppression of multiple Noises with different directions of arrival using instantaneous spectral subtraction2021

    • Author(s)
      Koki Takenaka
    • Organizer
      The 3rd International Conference on Electrical, Communication and Computer Engineering (ICECCE 2021)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 雑音スペクトルの振幅・位相同時推定に基づく瞬時スペクトル減算法による雑音抑圧2021

    • Author(s)
      竹中幸輝
    • Organizer
      電子情報通信学会応用音響研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] 仮想的焦点形成と瞬時スペクトル推定法による同一到来方向の音源分離に関する考察2021

    • Author(s)
      小澤賢司
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] 雑音スペクトルの振幅・位相同時推定に基づくスペクトル減算法の複数雑音源への拡張2021

    • Author(s)
      竹中幸輝
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] 機械学習による瞬時スペクトル推定に基づく雑音抑圧システムの実機搭載に向けた考察2021

    • Author(s)
      大宮拓海
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] 音スペクトルの振幅・位相同時推定に基づくスペクトラルサブトラクションによる雑音抑圧2021

    • Author(s)
      竹中幸輝
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2020 Research-status Report
  • [Presentation] Noise reduction using a plane microphone array and a spatio-temporal sound pressure distribution image2020

    • Author(s)
      Kenji Ozawa
    • Organizer
      The 7th IEEE International Conference on Consumer Electronics Taiwan 2020 (2020 ICCE-Taiwan)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Separation of multiple sound sources in the same direction by instantaneous spectral estimation2020

    • Author(s)
      Kenji Ozawa
    • Organizer
      The 9th IEEE Global Conference on Consumer Electronics (GCCE 2020)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] 位相を含めた雑音スペクトルの瞬時推定に基づくスペクトラルサブトラクションによる雑音抑圧2020

    • Author(s)
      竹中幸輝
    • Organizer
      音学シンポジウム2020
    • Related Report
      2020 Research-status Report
  • [Presentation] 瞬時スペクトル減算法よる到来方向が異なる複数雑音の抑圧2020

    • Author(s)
      竹中幸輝
    • Organizer
      電子情報通信学会応用音響研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 瞬時スペクトル推定法による同一到来方向の複数音源の分離に関する考察2020

    • Author(s)
      小澤賢司
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2020 Research-status Report
  • [Presentation] 瞬時スペクトル減算法による到来方向が異なる2雑音の抑圧に関する考察2020

    • Author(s)
      竹中幸輝
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2020 Research-status Report
  • [Presentation] 瞬時スペクトル減算法による同一到来方向の2雑音源の抑制に関する考察2020

    • Author(s)
      小澤賢司
    • Organizer
      日本音響学会2020年春季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] Suppression of two noise sources in the same direction by instantaneous spectral subtraction2019

    • Author(s)
      Kenji Ozawa
    • Organizer
      The 8th IEEE Global Conference on Consumer Electronics (GCCE 2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Sound source separation by spectral subtraction based on instantaneous estimation of noise spectrum2019

    • Author(s)
      Kenji Ozawa
    • Organizer
      The 6th International Conference on Systems and Informatics (ICSAI 2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Remarks] 山梨大学工学部コンピュータ理工学科小澤研究室ホームページ

    • URL

      http://www.ccn.yamanashi.ac.jp/~ozawa/lab.html

    • Related Report
      2023 Annual Research Report 2022 Research-status Report 2021 Research-status Report 2020 Research-status Report 2019 Research-status Report
  • [Patent(Industrial Property Rights)] 音源分離システム、音源位置推定システム、音源分離方法および音源分離プログラム2021

    • Inventor(s)
      小澤賢司
    • Industrial Property Rights Holder
      山梨大学
    • Industrial Property Rights Type
      特許
    • Filing Date
      2021
    • Related Report
      2020 Research-status Report
    • Overseas
  • [Patent(Industrial Property Rights)] Sound source separation system, sound source position estimation system, Sound source separation method, and Sound source separation program2020

    • Inventor(s)
      Kenji Ozawa
    • Industrial Property Rights Holder
      University of Yamanashi
    • Industrial Property Rights Type
      特許
    • Filing Date
      2020
    • Acquisition Date
      2022
    • Related Report
      2022 Research-status Report
    • Overseas
  • [Patent(Industrial Property Rights)] 音源分離システム、音源位置推定システム、音源分離方法および音源分離プログラム2020

    • Inventor(s)
      小澤賢司
    • Industrial Property Rights Holder
      山梨大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2020-536395
    • Filing Date
      2020
    • Related Report
      2020 Research-status Report
  • [Patent(Industrial Property Rights)] 音源分離システム、音源位置推定システム、音源分離方法および音源分離プログラム2019

    • Inventor(s)
      小澤賢司
    • Industrial Property Rights Holder
      国立大学法人山梨大学
    • Industrial Property Rights Type
      特許
    • Filing Date
      2019
    • Related Report
      2019 Research-status Report
    • Overseas

URL: 

Published: 2019-04-18   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi