多チャネル音源分離のための独立非全結合型深層学習行列分析の提案

• Project/Area Number: 20K11886
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Tottori University
• Principal Investigator: 吉村 宏紀 鳥取大学, 工学研究科, 助教 (80316009)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Project Status: Discontinued (Fiscal Year 2022)
• Budget Amount: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000); Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: IDLMA / U-net / 深層学習 / U-Net / ボーカル音源の抽出 / DNN / 音源分離 / Deep Neural Networks / 独立深層学習行列分析 IDLMA / SDR / ディープニューラルネットワーク / プロジェクションバック法

Outline of Research at the Start

教師あり多チャネル音源分離手法である独立非全結合型深層学習行列分析 (IxDLMA)を提案する. IxDLMA は，従来のブラインド音源分離の独立低ランク行列分析と，近年発展している教師あり学習のディープニューラルネットワーク(DNN)を融合したアルゴリズムであり，独立成分分析を起源とする統計的独立性に基づく信号分離理論の正当な教師あり拡張手法である．本手法では，DNNを用いて音源の時間周波数構造をモデル化しつつ， 観測信号の空間的な混合モデルをブラインドに推定することができる.IxDLMA が従来の DNN に基づく多チャネル音源分離手法よりも高速かつ高精度な音源分離が可能であることを示す.

Outline of Annual Research Achievements

従来の IDLMA は音源モデル推定ネットワークに全結合型 NN を用いている．IDLMA の音源モデル推定ネットワークには分離対象音源の振幅スペクトログラムを利用する必要がある．本研究では IDLMA の音源モデル推定ネットワークに，振幅スペクトログラムを出力可能な U-Net を用いることによって IDLMAの音源分離精度の向上を確認した．また U-Net に整数次倍音の振幅 (ピーク) を抽出するフィルタを組み込むことによって，U-Net 自身の精度向上も確認し，そのフィルタ付き U-Net を IDLMA に組み込むことで更に精度向上を図った．
U-Net は元来，医科学分野の画像セグメンテーションのために開発された手法である．音声や楽器音は倍音というものを含んでいる．例えば楽器で A4 の音を出したと仮定する．A4 の周波数は一般的に 440Hz とされている．実際に楽器から発せられる音は，440Hzの他に整数倍の周波数付近の音が出ている．これらの波のことは整数次倍音と呼ばれている．またその他の周波数帯に発せられている音より大きな振幅になる特徴を持つ．この特徴を U-Net に取り入れた．
IDLMA の音源モデル推定に U-Net を用いることで，精度向上が可能なことを確認した．また U-Net に整数次倍音による振幅のピークを抽出するフィルタを取り入れることで U-Net 自身の精度向上に寄与できることを確認した．
今後の課題としてU-Net+IDLMA のパーミュテーション問題解決を行うこと，音源種類ごとに倍音を学習するネットワークの構築などが考えられる．

Research Products

• [Presentation] U-Net を用いた IDLMA によるボーカル音源の分離 (2021)
  • Author(s): 衛藤吉彦 吉村宏紀 西山正志 岩井儀雄
  • Organizer: 電子情報通信学会
• [Presentation] DNN を利用した音源モデルが IDLMA の性能に与える影響の調査・検討 (2020)
  • Author(s): 衛藤 吉彦 ，吉村 宏紀，西山 正志，岩井 儀雄
  • Organizer: 2020 年度 (第 71 回) 電気・情報関連学会中国支部連合大会