人間の聴覚特性を考慮した残響・雑音環境下における音声信号処理の研究
| Project/Area Number |
18J20059
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Perceptual information processing
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
李 莉 筑波大学, システム情報工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2018-04-25 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥2,800,000 (Direct Cost: ¥2,800,000)
Fiscal Year 2020: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2019: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2018: ¥1,000,000 (Direct Cost: ¥1,000,000)
|
|---|
| Keywords | 多チャネル音源分離 / 音声強調 / 多チャネル変分自己符号化器 / 独立ベクトル分析 / 深層学習 / 音響信号処理 / モノラル音声強調 / 非負値行列因子分解 |
|---|
| Outline of Annual Research Achievements |
本研究では，人間の聴覚上かつ機械の認識上の両方において，高品質な音源分離システムの構築を最終的な目標としており，信号処理・機械学習・聴覚にまたがる数理モデルの構築と拡張を行った．最終年度では，主に以下の研究課題に取り組んだ．
1．昨年度までに提案した多チャンネル音源分離手法である多チャンネル変分自己符号化器法の高速アルゴリズム（FastMVAE法）の改良を行い，従来のFastMVAE法における未知データに対する性能劣化の問題を改善し，より高精度かつ高速なアルゴリズムを開発した．その結果はIEEE Accessに掲載された．本研究はIEEE Signal Processing Society Japan Chapterにより高く評価され，Student Conference Paper Awardを受賞した．
2．実験データを増やして，初年度に進めた非負値行列因子分解に基づく音声強調手法である識別的非負値行列因子分解（DNMF）の性能および動作を確認した．その結果をまとめた論文はIEEE Accessに掲載された．
3．昨年度に補助関数法を用いた独立ベクトル分析（AuxIVA）と呼ぶ多チャンネルブラインド音源分離手法にマイクと話者の空間情報を利用した幾何的正則化を取り入れたGCIVAを提案した．本年度は，実用化アプリケーションに向けて，提案手法のオンラインアルゴリズムの開発を行い，提案手法はリアルタイム処理で高性能な音声強調を行えることをシミュレーション実験で検証した．その結果をまとめた論文をトップカンファレンスであるINTERSPEECH2020で発表した．また，実環境における提案法の有効性も車室内で録音したデータにより検証した．
4．実用アプリケーションを目指し，AuxIVAおよびGCIVAのオンラインアルゴリズムを小型パソコンJetson Nanoに実装し，動作を確認した．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Report
(3 results)
Research Products
(41 results)
