• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

時間領域深層学習と多重解像度解析を融合した音響情景分析の研究

研究課題

研究課題/領域番号 20K19818
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関東京大学

研究代表者

中村 友彦  東京大学, 大学院情報理工学系研究科, 特任助教 (50866308)

研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2022年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2021年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2020年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
キーワード音響情景分析 / 時間領域深層学習 / 多重解像度解析 / 音源分離 / 音響信号処理 / 深層学習 / 機械学習
研究開始時の研究の概要

混合音から各音源信号を分離する技術である音源分離において,近年信号波形を直接入力・出力する時間領域深層学習が有望な結果を示している.しかし,時間領域深層学習では,高性能な音源分離を実現するように各構成要素のパラメータが学習されるため,各構成要素の機能は明確ではなく,発見的に研究が行われているのが実情である.一方,音響信号処理分野で提案された多重解像度解析は,機能が明確な構成要素を用いて全体として所望の信号解析機能を有するよう設計されている.本研究では,時間領域深層学習と多重解像度解析を融合し,両者の利点を兼ね備えた新たな音源分離手法(多重解像度深層分析)の創出を目指す.

研究成果の概要

本研究では,時間領域で直接音源分離を行う波形領域深層音源分離モデルと多重解像度解析との間のアナロジーを基に新たな音源分離手法を提案した.具体的には,離散ウェーブレット変換に基づくダウンサンプリング(プーリング)層を提案し,従来の波形領域音源分離手法に比べ,高精度に分離できることを示した.また,提案層を拡張し,事前に定めたウェーブレットだけでなく,深層学習モデルと同時にウェーブレットも学習できることを示した.この拡張により,タスクに応じてより適したウェーブレットを学習により得る方法を確立した.さらに,多チャネル音源分離や重唱分離へと拡張・適用し,提案法の導入により分離性能が向上することを示した.

研究成果の学術的意義や社会的意義

本研究では,時間領域で直接分離を行う深層音源分離モデル(時間領域深層学習)と,信号処理・ウェーブレット解析で培われてきた多重解像度解析を融合する分野横断的方法論を創出した.時間領域深層学習では,高性能な音源分離を実現するように各構成要素のパラメータが学習されるため,各構成要素の機能は明確ではなかった.一方,多重解像度解析は,音源によって適切に設計する必要があるものの,機能が明確な構成要素を用いている.本研究成果は,両者を統合することで深層学習の高性能性と信号処理の高い解釈性を両立する第一歩となるものである.

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (18件)

すべて 2023 2022 2021 2020 その他

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (11件) (うち国際学会 4件) 備考 (4件)

  • [雑誌論文] Sampling-Frequency-Independent Convolutional Layer and its Application to Audio Source Separation2022

    • 著者名/発表者名
      Koichi Saito、Tomohiko Nakamura、Kohei Yatabe、Hiroshi Saruwatari
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 30 ページ: 2928-2943

    • DOI

      10.1109/taslp.2022.3203907

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Time-Domain Audio Source Separation With Neural Networks Based on Multiresolution Analysis2021

    • 著者名/発表者名
      Nakamura Tomohiko、Kozuka Shihori、Saruwatari Hiroshi
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 29 ページ: 1687-1701

    • DOI

      10.1109/taslp.2021.3072496

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Harmonic-Temporal Factor Decomposition for Unsupervised Monaural Separation of Harmonic Sounds2021

    • 著者名/発表者名
      Nakamura Tomohiko、Kameoka Hirokazu
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 29 ページ: 68-82

    • DOI

      10.1109/taslp.2020.3037487

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] jaCappella corpus: A Japanese a cappella vocal ensemble corpus2023

    • 著者名/発表者名
      Tomohiko Nakamura、Shinnosuke Takamichi、Naoko Tanji、Satoru Fukayama、Hiroshi Saruwatari
    • 学会等名
      IEEE International Conference on Acoustics, Speech, and Signal Processing
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] jaCappella コーパス:重唱分離・合成に向けた日本語アカペラ歌唱コーパス2022

    • 著者名/発表者名
      中村 友彦,高道 慎之介,丹治 尚子,深山 覚,猿渡 洋
    • 学会等名
      日本音響学会第148回(2022年秋季)研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 多重解像度深層分析を用いた楽音分離の実験的評価2021

    • 著者名/発表者名
      中村 友彦、猿渡 洋
    • 学会等名
      音学シンポジウム2021(第131回 音楽情報科学研究会)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 周波数領域でのフィルタ設計に基づくサンプリング周波数非依存畳み込み層を用いたDNN音源分離2021

    • 著者名/発表者名
      齋藤 弘一、中村 友彦、矢田部 浩平、猿渡 洋
    • 学会等名
      音学シンポジウム2021(第131回 音楽情報科学研究会)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Sampling-frequency-independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method2021

    • 著者名/発表者名
      Koichi Saito、Tomohiko Nakamura、Kohei Yatabe、Hiroshi Saruwatari
    • 学会等名
      European Signal Processing Conference 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Independent Deeply Learned Tensor Analysis for Determined Audio Source Separation2021

    • 著者名/発表者名
      Naoki Narisawa、Rintaro Ikeshita、Norihiro Takamune、Daichi Kitamura、Tomohiko Nakamura、Hiroshi Saruwatari、Tomohiro Nakatani
    • 学会等名
      European Signal Processing Conference 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] ヘビーテイル生成モデルに基づく独立深層学習テンソル分析2021

    • 著者名/発表者名
      成澤 直輝、池下 林太郎、高宗 典玄、北村 大地、中村 友彦、猿渡 洋、中谷 智広
    • 学会等名
      日本音響学会 2021年秋季研究発表会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] サンプリング周波数非依存音源分離モデルを用いた楽音分離の実験的評価2021

    • 著者名/発表者名
      齋藤 弘一、中村 友彦、矢田部 浩平、猿渡 洋
    • 学会等名
      日本音響学会 2021年秋季研究発表会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 潜在アナログフィルタ表現に基づく畳み込み層を用いたサンプリング周波数非依存なDNN音源分離2021

    • 著者名/発表者名
      齋藤 弘一, 中村 友彦, 矢田部 浩平, 小泉 悠馬, 猿渡 洋
    • 学会等名
      日本音響学会2021年春季研究発表会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] アンチエイリアシング機構を導入したサンプリング周波数非依存な畳み込み層を用いた音源分離2021

    • 著者名/発表者名
      齋藤 弘一, 中村 友彦, 矢田部 浩平, 小泉 悠馬, 猿渡 洋
    • 学会等名
      情報処理学会 第130回音楽情報科学研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Investigation on Wavelet Basis Function of DNN-based Time Domain Audio Source Separation Inspired by Multiresolution Analysis2020

    • 著者名/発表者名
      Shihori Kozuka, Tomohiko Nakamura, Hiroshi Saruwatari
    • 学会等名
      49th International Congress and Exposition on Noise Control Engineering
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [備考] 重唱分離のデモページ

    • URL

      https://tomohikonakamura.github.io/Tomohiko-Nakamura/demo/jaCappella_sep

    • 関連する報告書
      2022 実績報告書
  • [備考] 重唱分離に対する提案法のコード公開ページ

    • URL

      https://github.com/TomohikoNakamura/asteroid_jaCappella

    • 関連する報告書
      2022 実績報告書
  • [備考] 分離音デモページ

    • URL

      https://tomohikonakamura.github.io/Tomohiko-Nakamura/demo/MRDLA/

    • 関連する報告書
      2021 実施状況報告書
  • [備考] 提案手法コード(GitHub)

    • URL

      https://github.com/TomohikoNakamura/dwtls

    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi