• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

選択的音楽聴取を実現するリアルタイム音源分離とその応用

研究課題

研究課題/領域番号 22KJ2548
補助金の研究課題番号 21J22039 (2021-2022)
研究種目

特別研究員奨励費

配分区分基金 (2023)
補助金 (2021-2022)
応募区分国内
審査区分 小区分61010:知覚情報処理関連
研究機関東京都立大学

研究代表者

中嶋 大志  東京都立大学, 大学院システムデザイン研究科, 特別研究員(DC1)

研究期間 (年度) 2023-03-08 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
2,200千円 (直接経費: 2,200千円)
2023年度: 700千円 (直接経費: 700千円)
2022年度: 700千円 (直接経費: 700千円)
2021年度: 800千円 (直接経費: 800千円)
キーワード音響信号処理 / 音声信号処理 / ブラインド音源分離 / リアルタイム音源分離 / 独立ベクトル分析 / オンライン独立ベクトル分析 / 独立低ランク行列分析 / 音場補間 / 音楽信号処理
研究開始時の研究の概要

本研究の目的はブラインド音源分離の工学的有用性と音楽情報処理との関連に着目し,リアルタイムの音源分離を用いて「選択的な音楽聴取を支援するシステム」を開発することである.
これを実現するために①オンライン独立ベクトル分析(以下,オンラインIVA)の高精度化②マイクの移動に頑健なオンラインIVAの開発③小型機器への実装・評価,に取り組む.
① :前年度に提案した手法を拡張し,より高精度な分離が可能な手法を提案する.
② :① の結果と音場補間と呼ばれる手法とを組み合わせることでマイクの移動に対する頑健性の向上を目指す.
③ :以上の成果を Raspberry Pi などの小型計算機へ実装し性能評価を行う.

研究実績の概要

本研究課題では音楽信号の選択的な聴取の実現を目指して,高精度かつ低演算量なブラインド音源分離手法の開発に取り組んでいる.ブラインド音源分離はスマートフォンにおける音声認識機能や補聴器の性能向上などに応用されており,音楽信号の選択的な聴取が可能になれば,音楽のリミックスや自動採譜などさらなる応用が期待される.
2023 年度は前年度からの継続として,音源追跡と称する,1個の音源だけが移動する状況でオンライン音源分離を行う問題について効率的な手法を検討した.音源追跡に対して, online source steering と称する高速なパラメータ更新方法を導出し,演算量のオーダーを理論限界まで削減することに成功した.この内容は,信号処理分野のトップ国際会議である ICASSP に採択され, 2023 年 6 月にギリシャにてポスター発表を行い,さらに Top 3% Paper Recognitions の受賞にも至った.
なお本成果は指導教員の小野順貴教授が研究代表者を務める JSPS 科研費の助成も部分的に受け, NTT コミュニケーション科学基礎研究所との共同研究の一環として取り組んだものである.
また,前年度に採択されていた,独立低ランク行列分析におけるパラメータ更新の反復適用による分離性能向上に関するジャーナル論文が出版された.次に,マイクロホンアレイの移動に頑健な音源分離の研究に取り組み,音場補間とオンライン音源分離を組み合わせることにより,円状マイクロホンアレイが回転しても頑健にオンライン音源分離を行う手法を提案した.この成果は 2024 年 2 月に APSIPA Transactions on Signal and Information Processing に採択された.

報告書

(3件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (27件)

すべて 2024 2023 2022 2021 その他

すべて 雑誌論文 (5件) (うち査読あり 5件、 オープンアクセス 5件) 学会発表 (20件) (うち国際学会 6件) 備考 (1件) 産業財産権 (1件)

  • [雑誌論文] Self-Rotation-Robust Online-Independent Vector Analysis with Sound Field Interpolation on Circular Microphone Array2024

    • 著者名/発表者名
      Nakashima Taishi、Wakabayashi Yukoh、Ono Nobutaka
    • 雑誌名

      APSIPA Transactions on Signal and Information Processing

      巻: 13 号: 1

    • DOI

      10.1561/116.00000163

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Causal and Relaxed-Distortionless Response Beamforming for Online Target Source Extraction2024

    • 著者名/発表者名
      Y. Masuyama, K. Yamaoka, Y. Kinoshita, T. Nakashima, and N. Ono
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 32 ページ: 310-324

    • DOI

      10.1109/taslp.2023.3329377

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Repeated Update of Demixing Vectors in Independent Low-rank Matrix Analysis for Better Separation2023

    • 著者名/発表者名
      Nakashima Taishi、Ono Nobutaka
    • 雑誌名

      APSIPA Transactions on Signal and Information Processing

      巻: 12 号: 3

    • DOI

      10.1561/116.00000080

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Minimum-Spanning-Tree-Based Time Delay Estimation Robust to Outliers2023

    • 著者名/発表者名
      Yamaoka Kouei、Nakashima Taishi、Wakabayashi Yukoh、Ono Nobutaka
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 121284-121294

    • DOI

      10.1109/access.2023.3327011

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Repeated update of demixing vectors in independent low-rank matrix analysis for better separation2023

    • 著者名/発表者名
      Taishi Nakashima and Nobutaka Ono
    • 雑誌名

      APSIPA Transactions on Signal and Information Processing

      巻: -

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] プロジェクションバックされた分離行列の直接更新2024

    • 著者名/発表者名
      栗城 結衣, 中嶋 大志, 小野 順貴
    • 学会等名
      信学技報
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 日常会話の発話重畳分析と非同期分散録音に対するオンライン独立ベクトル分析による分離の検討2024

    • 著者名/発表者名
      南木 春希, 中嶋 大志, 山岡 洸瑛, 若林 佑幸, 小野 順貴
    • 学会等名
      信学技報
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Unaliasing of recorded signals based on blind source separation2023

    • 著者名/発表者名
      Yuki Nakamura, Nobutaka Ono, Taishi Nakashima, Ryoichi Miyazaki
    • 学会等名
      2023 31st European Signal Processing Conference (EUSIPCO)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] オンライン補助関数型独立ベクトル分析の忘却係数の動的制御による移動音源分離2023

    • 著者名/発表者名
      増子 凱斗, 中嶋 大志, 河村 隆生, 小野 順貴
    • 学会等名
      日本音響学会 春季研究発表会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 時間周波数マスクの膨張処理と位相差拘束位相復元による両耳性ピッチの改善の検討2023

    • 著者名/発表者名
      菅原 大基, 中嶋 大志, 植野 夏樹, 小野 順貴
    • 学会等名
      音学シンポジウム
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Fast Online Source Steering Algorithm for Tracking Single Moving Source Using Online Independent Vector Analysis2023

    • 著者名/発表者名
      Taishi Nakashima, Rintaro Ikeshita, Nobutaka Ono, Shoko Araki, and Tomohiro Nakatani
    • 学会等名
      2023 IEEE International Conference on Acoustics, Speech and Signal Processing
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 独立ベクトル分析によるオンライン音源分離・追跡のための高速最適化2023

    • 著者名/発表者名
      中嶋 大志, 池下 林太郎, 小野 順貴, 荒木 章子, 中谷 智広
    • 学会等名
      日本音響学会 春季研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Inverse-free online independent vector analysis with flexible iterative source steering2022

    • 著者名/発表者名
      Taishi Nakashima and Nobutaka Ono
    • 学会等名
      Asia Pacific Signal and Information Processing Association Annual Summit and Conference 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 音場補間を用いた円状マイクロホンアレイの回転に頑健なブラインド音源分離2022

    • 著者名/発表者名
      中嶋 大志, 若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会 秋季研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] エイリアシング成分のブラインド信号分離とそれに基づく帯域復元2022

    • 著者名/発表者名
      中村 優希, 中嶋 大志, 小野 順貴, 宮崎 亮一
    • 学会等名
      日本音響学会 春季研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 最小全域木を用いた複数時間差の同時推定2022

    • 著者名/発表者名
      山岡 洸瑛, 中嶋 大志, 小野 順貴
    • 学会等名
      日本音響学会 秋季研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 混合信号による符号化器再学習を用いた FastMVAE 法に基づく音源分離2022

    • 著者名/発表者名
      山地 修平, 中嶋 大志, 小野 順貴, 李 莉, 亀岡 弘和
    • 学会等名
      日本音響学会 秋季研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Source selection using multiple directions of arrival estimation based on blind source separation2022

    • 著者名/発表者名
      Koudai Mogi, Taishi Nakashima, Kouei Yamaoka, Yukoh Wakabayashi, and Nobutaka Ono
    • 学会等名
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing 2022
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] ブロック処理と重畳加算による畳み込み演算の低遅延化2022

    • 著者名/発表者名
      栗城 結衣, 中嶋 大志, 山岡 洸瑛, 若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会 春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 補助関数法を用いた複数時間差のオンライン推定2022

    • 著者名/発表者名
      山岡 洸瑛, 中嶋 大志, 若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学 会春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Iterative source steering を用いたオンライン補助関数型独立ベクトル分析に基づくブラインド音源分離2022

    • 著者名/発表者名
      中嶋 大志, 小野 順貴
    • 学会等名
      日本音響学会 春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Self-rotation angle estimation of circular microphone array based on sound field interpolation2021

    • 著者名/発表者名
      Guansan Lian, Yukoh Wakabayashi, Taishi Nakashima, and Nobutaka Ono
    • 学会等名
      Asia Pacific Signal and Information Processing Association Annual Summit and Conference 2022
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Joint dereverberation and separation with iterative source steering2021

    • 著者名/発表者名
      Taishi Nakashima, Robin Scheibler, Masahito Togami, and Nobutaka Ono
    • 学会等名
      2021 IEEE International Conference on Acoustics, Speech and Signal Processing
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] ハンガリー法を用いたパーミュテーション解法に基づくブラインド音源分離2021

    • 著者名/発表者名
      山地 修平, 中嶋 大志, 若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会 秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] ブラインド音源分離に基づく複数音源方向推定を用いた分離音源選択の検討2021

    • 著者名/発表者名
      茂木 倖大, 中嶋 大志, 若林 佑幸, 小野 順貴
    • 学会等名
      日本音響学会 秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [備考] 2023 ICASSP Top 3 percent paper recognitions

    • URL

      https://2023.ieeeicassp.org/top-3-percent-paper-recognitions/

    • 関連する報告書
      2023 実績報告書
  • [産業財産権] 音源追跡方法及び装置2023

    • 発明者名
      荒木 章子,池下 林太郎,小野 順貴,中嶋 大志,中谷 智広
    • 権利者名
      荒木 章子,池下 林太郎,小野 順貴,中嶋 大志,中谷 智広
    • 産業財産権種類
      特許
    • 産業財産権番号
      2023-075445
    • 出願年月日
      2023
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2021-05-27   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi