• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Formulation of a recording method of the entire sound field by the fusion of acoustical signal processing and artificial intelligence technology

Research Project

Project/Area Number 16K06384
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Measurement engineering
Research InstitutionUniversity of Yamanashi

Principal Investigator

OZAWA Kenji  山梨大学, 大学院総合研究部, 教授 (30204192)

Co-Investigator(Kenkyū-buntansha) 坂本 修一  東北大学, 電気通信研究所, 准教授 (60332524)
森勢 将雅  山梨大学, 大学院総合研究部, 准教授 (60510013)
Project Period (FY) 2016-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2018: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2017: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2016: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywordsマイクロホンアレイ / 時空間音圧分布画像 / 音源分離 / 2次元フーリエ変換 / ニューラルネットワーク / 深層学習 / L1正則化 / スペクトル減算法 / 3次元フーリエ変換 / 距離分離 / 不等間隔アレイ / スパースモデリング / 到来方向推定 / マイクロ間隔マイクロホンアレイ / 音響信号処理 / 空間分離収録 / 人工知能
Outline of Final Research Achievements

This project aims to achieve sound source separation based on the two-dimensional fast Fourier transform (2D FFT) of a spatio-temporal sound pressure distribution image consisting of the outputs of a microphone array. The target sound, which arrives from the front of the array, forms vertical stripes in the image. Therefore, its spectral components are perfectly localized as direct current (DC) components along the spatial frequency axis in the 2D-FFT spectrum.
In this study, noise suppression was performed by spectral subtraction after the DC components of noise were instantaneously estimated from the spectrum using an artificial intelligence technique, deep neural networks. As a result, the proposed method showed better performance than the conventional methods (delay and sum beamformer, MV beamformer) for separating the target sound from sound with a different direction of arrival.
The proposed method is also applicable for separating two sound sources in the same direction.

Academic Significance and Societal Importance of the Research Achievements

超高品位テレビ方式(スーパーハイビジョン)は,室内に22個のスピーカを配置することで音の空間情報を近似的に再生するものであり,真の意味で音の空間情報を記録するには不十分である。将来的に高次遠隔コミュニケーションを実現する,また歴史的瞬間の現場を完全に記録・再現するためには,全周にわたり精密に音の空間情報を記録する手法の開発が望まれている。これを小規模なシステムにより実現することは,スマートスピーカやスマートフォンの音声インタフェースが一般に普及している今日において大きな社会的意義がある。
本研究では,これを実現するために,急激に発展している人工知能技術を利用することに学術的な意義がある。

Report

(4 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • 2016 Research-status Report
  • Research Products

    (25 results)

All 2019 2018 2017 2016 Other

All Journal Article (2 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results,  Acknowledgement Compliant: 1 results) Presentation (19 results) (of which Int'l Joint Research: 7 results) Remarks (2 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] 焦点位置からの音のみを収録するマイクロホンアレイ2019

    • Author(s)
      小澤賢司
    • Journal Title

      ケミカルエンジニアリング

      Volume: 64 Pages: 161-165

    • Related Report
      2018 Annual Research Report
  • [Journal Article] Neural-network-based microphone-array system trained with temporal-spatial patterns of multiple sinusoidal signals2017

    • Author(s)
      A. Iseki, K. Ozawa, Y. Kinoshita
    • Journal Title

      Acoustical Science and Technology

      Volume: 38 Issue: 2 Pages: 63-70

    • DOI

      10.1250/ast.38.63

    • NAID

      130005399536

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Presentation] 平面マイクロホンアレイと時空間音圧分布画像を用いた音源分離に関する考察2019

    • Author(s)
      小澤賢司, 塩澤光一朗, 森勢将雅, 坂本修一
    • Organizer
      日本音響学会2019年春季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Proposal of a Sound Source Separation Method Using Image Signal Processing of a Spatio-Temporal Sound Pressure Distribution Image2018

    • Author(s)
      K. Ozawa, M. Ito, G. Shimizu, M. Morise, S. Sakamoto
    • Organizer
      2018 AES International Conference on Spatial Reproduction
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 雑音スペクトルの瞬時推定に基づくスペクトラルサブトラクションによる音源分離に関する考察2018

    • Author(s)
      小澤賢司, 森勢将雅, 坂本修一
    • Organizer
      電子情報通信学会応用音響研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 雑音スペクトルの瞬時推定に基づくスペクトラルサブトラクションによる音源分離に関する一考察2018

    • Author(s)
      小澤賢司, 森勢将雅, 坂本修一
    • Organizer
      日本音響学会2018年秋季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 画像信号処理を用いた同一到来方向の2音源の分離に関する一考察2018

    • Author(s)
      小澤賢司, 輿水雄太, 森勢将雅, 坂本修一
    • Organizer
      日本音響学会2018年秋季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Separation of Two Sound Sources in the Same Direction by Image Signal Processing (DOI: 10.1109/GCCE.2018.8574514)2018

    • Author(s)
      K. Ozawa, Y. Koshimizu, M. Morise, S. Sakamoto
    • Organizer
      The 7th IEEE Global Conference on Consumer Electronics (GCCE 2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Sound Source Separation by Instantaneous Estimation-Based Spectral Subtraction (DOI: 10.1109/ICSAI.2018.8599483)2018

    • Author(s)
      K. Ozawa, M. Morise, S. Sakamoto
    • Organizer
      The 5th International Conference on Systems and Informatics (ICSAI 2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] マイクロホンアレイにより得た時空間音圧分布画像の復元に関する考察2018

    • Author(s)
      小澤賢司, 伊藤将亮, 清水源也, 瀧澤恵里, 森勢将雅, 坂本修一
    • Organizer
      電子情報通信学会EMM研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] 眼鏡フレーム上のマイクロホンアレイによる雑音抑制~LASSOアルゴリズムによる優勢な雑音源の方向推定2018

    • Author(s)
      小澤賢司, 横打詩音, 森勢将雅
    • Organizer
      日本音響学会2018年春季研究発表会
    • Related Report
      2017 Research-status Report
  • [Presentation] マイクロ間隔マイクロホンアレイの基本特性に関する一考察2017

    • Author(s)
      小澤賢司
    • Organizer
      日本音響学会2017年春季研究発表会
    • Place of Presentation
      明治大学(神奈川県・川崎市)
    • Year and Date
      2017-03-17
    • Related Report
      2016 Research-status Report
  • [Presentation] マイクロ間隔マイクロホンアレイの基本特性に関する考察2017

    • Author(s)
      小澤賢司
    • Organizer
      電子情報通信学会マルチメディア情報ハイディング・エンリッチメント研究会
    • Place of Presentation
      東北大学(宮城県・仙台市)
    • Year and Date
      2017-01-31
    • Related Report
      2016 Research-status Report
  • [Presentation] Noise reduction using an eyeglass-frame microphone array based on DOA estimation by LASSO2017

    • Author(s)
      K. Ozawa, S. Yokouchi, M. Morise
    • Organizer
      The 1st International Conference on Challenges in Hearing Assistive Technology (CHAT-2017)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] Broadbanding of a NN-based microphone-array system by decomposing into frequency components2017

    • Author(s)
      K. Ozawa, Y. Akishika, M. Morise, A. Iseki, Y. Kinoshita
    • Organizer
      The 6th IEEE Global Conference on Consumer Electronics (GCCE 2017)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 時空間音圧分布画像の復元に関する考察2017

    • Author(s)
      小澤賢司, 伊藤将亮, 清水源也, 森勢将雅, 坂本修一
    • Organizer
      日本音響学会2017年秋季研究発表会
    • Related Report
      2017 Research-status Report
  • [Presentation] マイクロホンアレイ出力に対する画像信号処理による複数音源の分離2017

    • Author(s)
      小澤賢司, 森勢将雅
    • Organizer
      平成29年度やまなし産学官連携研究交流事業研究発表会
    • Related Report
      2017 Research-status Report
  • [Presentation] Sound source separation using image signal processing based on sparsity of sound field2016

    • Author(s)
      M. Ito
    • Organizer
      The 5th Joint Meeting of the Acoustical Society of America and Acoustical Society of Japan
    • Place of Presentation
      Waikiki・USA
    • Year and Date
      2016-11-29
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] Superdirective microphone array based on DOA and waveform estimations of noise2016

    • Author(s)
      K. Ozawa
    • Organizer
      The 5th IEEE Global Conference on Consumer Electronics (GCCE 2016)
    • Place of Presentation
      Mielparque Kyoto(京都府・京都市)
    • Year and Date
      2016-10-11
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] 時空間音圧分布画像に対する画像信号処理による音源分離法の提案2016

    • Author(s)
      伊藤将亮
    • Organizer
      日本音響学会2016年秋季研究発表会
    • Place of Presentation
      富山大学(富山県・富山市)
    • Year and Date
      2016-09-16
    • Related Report
      2016 Research-status Report
  • [Presentation] 雑音の到来方向及び波形推定に基づく超指向性マイクロホンアレイシステムの構築2016

    • Author(s)
      小澤賢司
    • Organizer
      日本音響学会2016年秋季研究発表会
    • Place of Presentation
      富山大学(富山県・富山市)
    • Year and Date
      2016-09-14
    • Related Report
      2016 Research-status Report
  • [Remarks] 山梨大学工学部コンピュータ理工学科メディア感性工学研究室

    • URL

      http://www.ccn.yamanashi.ac.jp/~ozawa/lab.htm

    • Related Report
      2018 Annual Research Report 2017 Research-status Report
  • [Remarks] 山梨大学工学部コンピュータ理工学科音情報科学研究室

    • URL

      http://www.ccn.yamanashi.ac.jp/~ozawa/temp.htm

    • Related Report
      2016 Research-status Report
  • [Patent(Industrial Property Rights)] 音源分離システム、音源位置推定システム、音源分離方法および音源分離プログラム2018

    • Inventor(s)
      小澤賢司
    • Industrial Property Rights Holder
      国立大学法人山梨大学
    • Industrial Property Rights Type
      特許
    • Filing Date
      2018
    • Related Report
      2018 Annual Research Report
  • [Patent(Industrial Property Rights)] 音源分離装置、及び音源分離方法2016

    • Inventor(s)
      小澤賢司,森勢将雅,伊藤将亮,清水源也
    • Industrial Property Rights Holder
      国立大学法人山梨大学
    • Industrial Property Rights Type
      特許
    • Filing Date
      2016-08-30
    • Related Report
      2016 Research-status Report

URL: 

Published: 2016-04-21   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi