人間の聴覚特性を考慮した残響・雑音環境下における音声信号処理の研究
| Project/Area Number |
18J20059
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Perceptual information processing
|
|---|
| Research Institution | University of Tsukuba |
|---|
| Research Fellow |
李 莉 筑波大学, システム情報工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2018-04-25 – 2021-03-31
|
| Project Status |
Granted (Fiscal Year 2020)
|
| Budget Amount *help |
¥2,800,000 (Direct Cost: ¥2,800,000)
Fiscal Year 2020: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2019: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2018: ¥1,000,000 (Direct Cost: ¥1,000,000)
|
|---|
| Keywords | 多チャネル音源分離 / 音声強調 / 多チャネル変分自己符号化器 / 独立ベクトル分析 / 深層学習 / 音響信号処理 / モノラル音声強調 / 非負値行列因子分解 |
|---|
| Outline of Annual Research Achievements |
本研究は，人間の聴覚上かつ機械の認識上の両方における高品質な音を複数の音が混ざっている混合音から分離するシステムの構築を最終的な目標としており，信号処理・機械学習・聴覚にまたがる数理モデルの構築と拡張を行う．
研究実施2年目では，主に以下の研究を行った．
（１）昨年度までに独立低ランク行列因子分解と呼ぶ多チャンネルブラインド音源分離手法に深層生成モデルを取り込んだ多チャネル変分自己符号化器法（MVAE法）と実用化のための高速アルゴリズム（fMVAE法）を提案し，少量データに限定して提案手法の有効性調査を行った．今年度には，データ量を増やし，より多種類かつ複雑な雑音・残響環境下において提案手法の有効性を調査した．その結果をまとめてNeural Computationに論文2本を投稿した．そのうち，1本は掲載済，もう1本は査読中である．また，電気音響研究会においても発表を行い，学生研究奨励賞を受賞した．
（２）補助関数法を用いた独立ベクトル分析（AuxIVA）と呼ぶ多チャンネルブラインド音源分離手法はその高い分離性能，効率的なアルゴリズム，およびそれに基づくリアルタイムシステムが存在することで注目を集めている．しかし，従来のAuxIVAは，ブロックパミューテーションと呼ぶ低周波数と高周波数帯域において得られた分離信号がそれぞれ違う信号に属する問題が起こる．その問題を解決するために，ターゲット話者の空間情報を利用したGeometrically constrained AuxIVAを提案し，補助関数法とベクトルワイズ座標降下法を用いた更新アルゴリズムの導出に成功した．提案手法の有効性をシミュレーション実験で検証した．その結果をまとめた論文は，音響信号処理分野のトップカンファレンスであるICASSP 2020に採択されている．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の計画では，深層学習を用いた新たな手法の提案及び検証を今年度に実施することを予定していたが，今年度においてはMVAE法とfMVAE法に関する大規模な実験を行うことができて，その結果をまとめて投稿し，そのうちの1本が採択されるまでに至ったこと及び，AuxIVAを拡張した新たなアルゴリズムを提案でき，国際会議に採択されたことから，期待以上の進捗があったと言える．
|
| Strategy for Future Research Activity |
本年度では，実用システムに向けて，データ量を増やし，既知音源と未知音源の両方に対して提案したMVAE法とfMVAE法の有効性を確認した．しかし，これらの手法は収録し終えた混合信号を入力信号とし，リアルタイムの処理になっていない．従って，3年目はまずそれらの手法をベースとしたオンラインアルゴリズムの開発を行い，実用化のフィジビリティスタディを検証するために開発したアルゴリズムをNVIDA Jetson Nanoに実装し，検証実験を行う．
また，本年度に提案したAuxIVAの拡張手法がバッチ処理アルゴリズムであるため，実用性を考慮したオンラインアルゴリズムの開発と検証が必要である．それらも3年目で実行することを予定している．
最後に，3年を渡って進んできた非負値行列因子分解と深層学習を取り込んだ手法の研究を基に，それらの手法間の関係性を明らかにし，両方のモデルの利点を同時に生かして更なる音源分離性能を向上させることを考えている．
|
Report
(2 results)
Research Products
(23 results)
