2022 Fiscal Year Annual Research Report
選択的音楽聴取を実現するリアルタイム音源分離とその応用
| Project/Area Number |
21J22039
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
中嶋 大志 東京都立大学, 大学院システムデザイン研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 音響信号処理 / 音声信号処理 / ブラインド音源分離 / リアルタイム音源分離 / 独立ベクトル分析 / 独立低ランク行列分析 |
|---|
| Outline of Annual Research Achievements |
本研究課題では音楽信号の選択的な聴取の実現を目指して，高精度かつ低演算量なブラインド音源分離手法の開発に取り組んでいる．ブラインド音源分離はスマートフォンにおける音声認識機能や補聴器の性能向上などに応用されている．さらに，音楽信号の選択的な聴取が可能になれば，音楽のリミックスや自動採譜などさらなる応用が期待される．
本年度はまず，前年度からの継続として，独立低ランク行列分析を用いた音源分離の性能向上に関する研究について査読対応を進め，ジャーナル論文としての採択に至った．次に実環境でのユーザ自身の移動に頑健な音源分離に取り組み，音場補間とオンライン音源分離を組み合わせることにより，頭部装着した円状マイクが回転しても連続的にオンライン音源分離を行う手法を提案し，日本音響学会研究発表会にて発表した．また，前年度に提案したiterative source steering（以下，ISS）を用いたオンライン音源分離に引き続き取り組み，国際会議APSIPA ASCに採択され，発表した．
さらにオンライン音源分離の特殊な場合として，１個の音源だけが移動する状況でオンライン音源分離を行う問題を音源追跡と呼び，この問題について効率的な手法を検討した．ISSを適用する際のパラメータ更新方法を工夫することによって online source steering（OSS）という新たな手法を導出し，演算量のオーダーを理論限界まで削減することに成功した．この内容は，信号処理分野のトップ国際会議であるICASSPに採択された．なお本成果は指導教員の小野順貴教授が研究代表者を務めるJSPS科研費の助成も部分的に受け，ＮＴＴコミュニケーション科学基礎研究所との共同研究の一環として取り組んだものであり，特許出願中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は online source steering （以下，OSS）と称するパラメータ更新式を用いたオンライン音源分離を新たに提案し，信号処理分野のトップ国際会議である ICASSP で１件採択された．当該論文では，前年度に提案した iterative source steering（以下，ISS）を用いたオンライン音源分離の計算量を削減するために，１個の音源だけが移動するという仮定を導入することでオンライン音源分離問題を制限した．この制限された新たな問題を音源追跡と呼び，この枠組みの中で効率的なパラメータ更新式である OSS を導出した．当該論文の提案手法である OSS は ISS に比べて，計算量を理論的な限界まで減少させることに成功した．これはブラインド音源分離のリアルタイム処理化を目指すうえで重要な役割を果たす．
さらに，博士前期課程において取り組んだ，独立低ランク行列分析におけるパラメータ更新の収束に関する論文が APSIPA Transactions on Signal and Information Processing に採択された．共著者としては国内学会３件および国際会議３件の発表に携わった．以上の研究成果より，本研究課題はおおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
前年度はブラインド音源分離のオンライン処理における新たなパラメータ更新の適用について取り組んできた．
具体的には，online source steering（以下，OSS）と呼ばれるパラメータ更新手法を用いたオンライン独立ベクトル分析を新たに提案した．従来の手法である特定の音源に関するパラメータのみを部分的に更新するために膨大な計算量が必要であった．これに対してOSS を用いることで従来よりもはるかに効率的な更新式を導出した．
本年度は，円状マイクロホンアレイ上の音場補間を用いた，オンライン独立ベクトル分析の頑健性向上に取り組む．前年度に提案した手法は，音源の緩やかな移動に対して効率的にパラメータ更新が可能であるが，マイクロホンの急激な移動に対して頑健でないという問題がある．この問題に対して，音場補間と呼ばれる手法と組み合わせることで，前述した OSS の利点を保ちつつ実用的な音源分離処理を実現できることが期待される．このことはリアルタイムの音源分離を実環境で活用するうえで大きな利点となる．音場補間とオンライン音源分離との組み合わせは２０２１年度に提案した，ISSによるオンライン音源分離において有効であることをシミュレーション実験によって確認している．そのため，OSSと組み合わせる場合においても同様の結果が得られることが期待される．また，本研究課題ではブラインド音源分離の実社会応用を最終目標としているため，シミュレーション実験だけではなく実環境実験にも取り組む．さらに，前年度から継続して日本音響学会をはじめとする国内学会，および ICASSP などの信号処理分野におけるトップ国際会議に参加し多数の研究者との情報交換を行うほか，上記の研究成果をまとめた雑誌論文も投稿する予定である．
|
