• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

選択的音楽聴取を実現するリアルタイム音源分離とその応用

Research Project

Project/Area Number 22KJ2548
Project/Area Number (Other) 21J22039 (2021-2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2021-2022)
Section国内
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionTokyo Metropolitan University

Principal Investigator

中嶋 大志  東京都立大学, 大学院システムデザイン研究科, 特別研究員(DC1)

Project Period (FY) 2023-03-08 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
Keywords音響信号処理 / 音声信号処理 / ブラインド音源分離 / リアルタイム音源分離 / 独立ベクトル分析 / オンライン独立ベクトル分析 / 独立低ランク行列分析 / 音場補間 / 音楽信号処理
Outline of Research at the Start

本研究の目的はブラインド音源分離の工学的有用性と音楽情報処理との関連に着目し,リアルタイムの音源分離を用いて「選択的な音楽聴取を支援するシステム」を開発することである.
これを実現するために①オンライン独立ベクトル分析(以下,オンラインIVA)の高精度化②マイクの移動に頑健なオンラインIVAの開発③小型機器への実装・評価,に取り組む.
① :前年度に提案した手法を拡張し,より高精度な分離が可能な手法を提案する.
② :① の結果と音場補間と呼ばれる手法とを組み合わせることでマイクの移動に対する頑健性の向上を目指す.
③ :以上の成果を Raspberry Pi などの小型計算機へ実装し性能評価を行う.

Outline of Annual Research Achievements

本研究課題では音楽信号の選択的な聴取の実現を目指して,高精度かつ低演算量なブラインド音源分離手法の開発に取り組んでいる.ブラインド音源分離はスマートフォンにおける音声認識機能や補聴器の性能向上などに応用されており,音楽信号の選択的な聴取が可能になれば,音楽のリミックスや自動採譜などさらなる応用が期待される.
2023 年度は前年度からの継続として,音源追跡と称する,1個の音源だけが移動する状況でオンライン音源分離を行う問題について効率的な手法を検討した.音源追跡に対して, online source steering と称する高速なパラメータ更新方法を導出し,演算量のオーダーを理論限界まで削減することに成功した.この内容は,信号処理分野のトップ国際会議である ICASSP に採択され, 2023 年 6 月にギリシャにてポスター発表を行い,さらに Top 3% Paper Recognitions の受賞にも至った.
なお本成果は指導教員の小野順貴教授が研究代表者を務める JSPS 科研費の助成も部分的に受け, NTT コミュニケーション科学基礎研究所との共同研究の一環として取り組んだものである.
また,前年度に採択されていた,独立低ランク行列分析におけるパラメータ更新の反復適用による分離性能向上に関するジャーナル論文が出版された.次に,マイクロホンアレイの移動に頑健な音源分離の研究に取り組み,音場補間とオンライン音源分離を組み合わせることにより,円状マイクロホンアレイが回転しても頑健にオンライン音源分離を行う手法を提案した.この成果は 2024 年 2 月に APSIPA Transactions on Signal and Information Processing に採択された.

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (27 results)

All 2024 2023 2022 2021 Other

All Journal Article (5 results) (of which Peer Reviewed: 5 results,  Open Access: 5 results) Presentation (20 results) (of which Int'l Joint Research: 6 results) Remarks (1 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Self-Rotation-Robust Online-Independent Vector Analysis with Sound Field Interpolation on Circular Microphone Array2024

    • Author(s)
      Nakashima Taishi、Wakabayashi Yukoh、Ono Nobutaka
    • Journal Title

      APSIPA Transactions on Signal and Information Processing

      Volume: 13 Issue: 1

    • DOI

      10.1561/116.00000163

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Causal and Relaxed-Distortionless Response Beamforming for Online Target Source Extraction2024

    • Author(s)
      Y. Masuyama, K. Yamaoka, Y. Kinoshita, T. Nakashima, and N. Ono
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: 32 Pages: 310-324

    • DOI

      10.1109/taslp.2023.3329377

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Repeated Update of Demixing Vectors in Independent Low-rank Matrix Analysis for Better Separation2023

    • Author(s)
      Nakashima Taishi、Ono Nobutaka
    • Journal Title

      APSIPA Transactions on Signal and Information Processing

      Volume: 12 Issue: 3

    • DOI

      10.1561/116.00000080

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Minimum-Spanning-Tree-Based Time Delay Estimation Robust to Outliers2023

    • Author(s)
      Yamaoka Kouei、Nakashima Taishi、Wakabayashi Yukoh、Ono Nobutaka
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 121284-121294

    • DOI

      10.1109/access.2023.3327011

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Repeated update of demixing vectors in independent low-rank matrix analysis for better separation2023

    • Author(s)
      Taishi Nakashima and Nobutaka Ono
    • Journal Title

      APSIPA Transactions on Signal and Information Processing

      Volume: -

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] プロジェクションバックされた分離行列の直接更新2024

    • Author(s)
      栗城 結衣, 中嶋 大志, 小野 順貴
    • Organizer
      信学技報
    • Related Report
      2023 Annual Research Report
  • [Presentation] 日常会話の発話重畳分析と非同期分散録音に対するオンライン独立ベクトル分析による分離の検討2024

    • Author(s)
      南木 春希, 中嶋 大志, 山岡 洸瑛, 若林 佑幸, 小野 順貴
    • Organizer
      信学技報
    • Related Report
      2023 Annual Research Report
  • [Presentation] Unaliasing of recorded signals based on blind source separation2023

    • Author(s)
      Yuki Nakamura, Nobutaka Ono, Taishi Nakashima, Ryoichi Miyazaki
    • Organizer
      2023 31st European Signal Processing Conference (EUSIPCO)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] オンライン補助関数型独立ベクトル分析の忘却係数の動的制御による移動音源分離2023

    • Author(s)
      増子 凱斗, 中嶋 大志, 河村 隆生, 小野 順貴
    • Organizer
      日本音響学会 春季研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 時間周波数マスクの膨張処理と位相差拘束位相復元による両耳性ピッチの改善の検討2023

    • Author(s)
      菅原 大基, 中嶋 大志, 植野 夏樹, 小野 順貴
    • Organizer
      音学シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] Fast Online Source Steering Algorithm for Tracking Single Moving Source Using Online Independent Vector Analysis2023

    • Author(s)
      Taishi Nakashima, Rintaro Ikeshita, Nobutaka Ono, Shoko Araki, and Tomohiro Nakatani
    • Organizer
      2023 IEEE International Conference on Acoustics, Speech and Signal Processing
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 独立ベクトル分析によるオンライン音源分離・追跡のための高速最適化2023

    • Author(s)
      中嶋 大志, 池下 林太郎, 小野 順貴, 荒木 章子, 中谷 智広
    • Organizer
      日本音響学会 春季研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Inverse-free online independent vector analysis with flexible iterative source steering2022

    • Author(s)
      Taishi Nakashima and Nobutaka Ono
    • Organizer
      Asia Pacific Signal and Information Processing Association Annual Summit and Conference 2022
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 音場補間を用いた円状マイクロホンアレイの回転に頑健なブラインド音源分離2022

    • Author(s)
      中嶋 大志, 若林 佑幸, 小野 順貴
    • Organizer
      日本音響学会 秋季研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] エイリアシング成分のブラインド信号分離とそれに基づく帯域復元2022

    • Author(s)
      中村 優希, 中嶋 大志, 小野 順貴, 宮崎 亮一
    • Organizer
      日本音響学会 春季研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 最小全域木を用いた複数時間差の同時推定2022

    • Author(s)
      山岡 洸瑛, 中嶋 大志, 小野 順貴
    • Organizer
      日本音響学会 秋季研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 混合信号による符号化器再学習を用いた FastMVAE 法に基づく音源分離2022

    • Author(s)
      山地 修平, 中嶋 大志, 小野 順貴, 李 莉, 亀岡 弘和
    • Organizer
      日本音響学会 秋季研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Source selection using multiple directions of arrival estimation based on blind source separation2022

    • Author(s)
      Koudai Mogi, Taishi Nakashima, Kouei Yamaoka, Yukoh Wakabayashi, and Nobutaka Ono
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing 2022
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ブロック処理と重畳加算による畳み込み演算の低遅延化2022

    • Author(s)
      栗城 結衣, 中嶋 大志, 山岡 洸瑛, 若林 佑幸, 小野 順貴
    • Organizer
      日本音響学会 春季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 補助関数法を用いた複数時間差のオンライン推定2022

    • Author(s)
      山岡 洸瑛, 中嶋 大志, 若林 佑幸, 小野 順貴
    • Organizer
      日本音響学 会春季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Iterative source steering を用いたオンライン補助関数型独立ベクトル分析に基づくブラインド音源分離2022

    • Author(s)
      中嶋 大志, 小野 順貴
    • Organizer
      日本音響学会 春季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Self-rotation angle estimation of circular microphone array based on sound field interpolation2021

    • Author(s)
      Guansan Lian, Yukoh Wakabayashi, Taishi Nakashima, and Nobutaka Ono
    • Organizer
      Asia Pacific Signal and Information Processing Association Annual Summit and Conference 2022
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Joint dereverberation and separation with iterative source steering2021

    • Author(s)
      Taishi Nakashima, Robin Scheibler, Masahito Togami, and Nobutaka Ono
    • Organizer
      2021 IEEE International Conference on Acoustics, Speech and Signal Processing
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ハンガリー法を用いたパーミュテーション解法に基づくブラインド音源分離2021

    • Author(s)
      山地 修平, 中嶋 大志, 若林 佑幸, 小野 順貴
    • Organizer
      日本音響学会 秋季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] ブラインド音源分離に基づく複数音源方向推定を用いた分離音源選択の検討2021

    • Author(s)
      茂木 倖大, 中嶋 大志, 若林 佑幸, 小野 順貴
    • Organizer
      日本音響学会 秋季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Remarks] 2023 ICASSP Top 3 percent paper recognitions

    • URL

      https://2023.ieeeicassp.org/top-3-percent-paper-recognitions/

    • Related Report
      2023 Annual Research Report
  • [Patent(Industrial Property Rights)] 音源追跡方法及び装置2023

    • Inventor(s)
      荒木 章子,池下 林太郎,小野 順貴,中嶋 大志,中谷 智広
    • Industrial Property Rights Holder
      荒木 章子,池下 林太郎,小野 順貴,中嶋 大志,中谷 智広
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2023-075445
    • Filing Date
      2023
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2021-05-27   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi