• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

あらゆる音の定位・分離・分類のためのユニバーサル音響理解モデル

研究課題

研究課題/領域番号 20K21813
研究種目

挑戦的研究(萌芽)

配分区分基金
審査区分 中区分61:人間情報学およびその関連分野
研究機関京都大学

研究代表者

吉井 和佳  京都大学, 情報学研究科, 准教授 (20510001)

研究期間 (年度) 2020-07-30 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
2021年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
2020年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
キーワード音響信号処理 / 音源分離 / 残響除去 / 深層学習 / 最尤推定 / 音声強調 / 音声認識
研究開始時の研究の概要

本研究では、物理拘束付きの多様な音響信号の統一的な深層生成モデルの定式化と、その逆問題としての教師なし学習について取り組む。任意の空間/音源特性を表現可能なユニバーサル音響生成モデルを定式化し、自律的に各種条件の類型化を行うとともに、バックエンドタスク(音声認識・音響イベント検出)との統合を行う。

研究成果の概要

本研究の目的は、音声・音楽・環境音など多岐にわたるあらゆる種類の音を、適応的かつ頑健に分析できるユニバーサル音響理解モデルを確立することである。具体的には、最近我々が提案した、高速かつ高精度な最新の汎用ブラインド音源分離 (BSS) 手法である高速多チャネル非負値行列因子分解 (FastMNMF) に関して、音源モデル・空間モデル・尤度関数の改良を行い、分離モデルや残響モデルとの同時学習を実現した。また、音声認識との統合についても取り組んだ。

研究成果の学術的意義や社会的意義

本研究を通じて、人間が持つ音理解能力の創発的な側面、すなわち、正解の教示を受けなくても、多様な音が重畳する実環境とのインタラクションを通じて、音を個別に理解する能力に対し、一定の構成論的説明と統計的エビデンスを与えることができた。技術的には、ペアデータを前提とした深層学習モデルの教師あり学習から脱却し、尤度最大化の枠組みに基づく教師なし学習を主軸とすることで、大規模な音響信号データ利用への道筋を開いた。

報告書

(3件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実施状況報告書
  • 研究成果

    (12件)

すべて 2021 2020

すべて 雑誌論文 (5件) (うち国際共著 3件、 査読あり 5件、 オープンアクセス 4件) 学会発表 (7件) (うち国際学会 4件)

  • [雑誌論文] Neural Full-Rank Spatial Covariance Analysis for Blind Source Separation2021

    • 著者名/発表者名
      Yoshiaki Bando, Kouhei Sekiguchi, Yoshiki Masuyama, Aditya Arie Nugraha, Mathieu Fontaine, Kazuyoshi Yoshii
    • 雑誌名

      IEEE Signal Processing Letters

      巻: 28 ページ: 1670-1674

    • DOI

      10.1109/lsp.2021.3101699

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] MirrorNet: A Deep Reflective Approach to 2D Pose Estimation for Single-Person Images2021

    • 著者名/発表者名
      Takayuki Nakatsuka, Kazuyoshi Yoshii, Yuki Koyama, Satoru Fukayama, Masataka Goto, Shigeo Morishima
    • 雑誌名

      Journal of Information Processing

      巻: 29 号: 0 ページ: 406-423

    • DOI

      10.2197/ipsjjip.29.406

    • NAID

      130008038621

    • ISSN
      1882-6652
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Computationally-Efficient Overdetermined Blind Source Separation Based on Iterative Source Steering2021

    • 著者名/発表者名
      Yicheng Du, Robin Scheibler, Masahito Togami, Kazuyoshi Yoshii, Tatsuya Kawahara
    • 雑誌名

      IEEE Signal Processing Letters

      巻: 29 ページ: 927-931

    • DOI

      10.1109/lsp.2021.3134939

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Fast Multichannel Nonnegative Matrix Factorization With Directivity-Aware Jointly-Diagonalizable Spatial Covariance Matrices for Blind Source Separation2020

    • 著者名/発表者名
      Kouhei Sekiguchi, Yoshiaki Bando, Aditya Arie Nugraha, Kazuyoshi Yoshii, Tatsuya Kawahara
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 28 ページ: 2610-2625

    • DOI

      10.1109/taslp.2020.3019181

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Flow-Based Independent Vector Analysis for Blind Source Separation2020

    • 著者名/発表者名
      Aditya Arie Nugraha, Kouhei Sekiguchi, Mathieu Fontaine, Yoshiaki Bando, Kazuyoshi Yoshii
    • 雑誌名

      IEEE Signal Processing Letters

      巻: 27 ページ: 2173-2177

    • DOI

      10.1109/lsp.2020.3039944

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Alpha-Stable Autoregressive Fast Multichannel Nonnegative Matrix Factorization for Joint Speech Enhancement and Dereverberation2021

    • 著者名/発表者名
      Mathieu Fontaine, Kouhei Sekiguchi, Aditya Arie Nugraha, Yoshiaki Bando, Kazuyoshi Yoshii
    • 学会等名
      Annual Conference of the International Speech Communication Association (Interspeech)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Gamma Process FastMNMF for Separating an Unknown Number of Sound Sources2021

    • 著者名/発表者名
      Yoshiaki Bando, Kouhei Sekiguchi, Kazuyoshi Yoshii
    • 学会等名
      European Signal Processing Conference (EUSIPCO)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 変分自己符号化器を用いた距離学習による楽器音の音高・音色分離表現2021

    • 著者名/発表者名
      田中啓太郎, 錦見亮, 坂東宜昭, 吉井和佳, 森島繁生
    • 学会等名
      情報処理学会 第131回音楽情報科学研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Autoregressive Fast Multichannel Nonnegative Matrix Factorization for Joint Blind Source Separation and Dereverberation2021

    • 著者名/発表者名
      Kouhei Sekiguchi, Yoshiaki Bando, Aditya Arie Nugraha, Mathieu Fontaine, Kazuyoshi Yoshii
    • 学会等名
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Pitch-Timbre Disentanglement of Musical Instrument Sounds Based on VEA-Based Metric Learning2021

    • 著者名/発表者名
      Keitaro Tanaka, Ryo Nishikimi, Yoshiaki Bando, Kazuyoshi Yoshii, Shigeo Morishima
    • 学会等名
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] ARMA-FastMNMFに基づく同時的ブラインド音源分離・残響除去2021

    • 著者名/発表者名
      関口 航平, 坂東 宜昭, Aditya Arie Nugraha, Mathieu Fontaine, 吉井 和佳
    • 学会等名
      日本音響学会 2021年春季研究発表会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] NF-IVAに基づく線形時変型決定系ブラインド音源分離2021

    • 著者名/発表者名
      Aditya Arie Nugraha, 関口 航平, Mathieu Fontaine, 坂東 宜昭, 吉井 和佳
    • 学会等名
      日本音響学会 2021年春季研究発表会
    • 関連する報告書
      2020 実施状況報告書

URL: 

公開日: 2020-08-03   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi