マイクロホンアレーを用いたハンズフリー音声認識アルゴリズムの研究

• 研究課題/領域番号: 11480077
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 奈良先端科学技術大学院大学
• 研究代表者: 猿渡 洋 (2000-2002) 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (30324974); 中村 哲 (1999) 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (30263429)
• 研究分担者: 李 晃伸 奈良先端科学技術大学院大学, 情報科学研究科, 助手 (80332766) ; 鹿野 清宏 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (00263426) ; 陸 金林 奈良先端科学技術大学院大学, 情報科学研究科, 助手 (50230868)
• 研究期間 (年度): 1999 – 2002
• 研究課題ステータス: 完了 (2002年度)
• 配分額: 11,600千円 (直接経費: 11,600千円); 2002年度: 2,600千円 (直接経費: 2,600千円); 2001年度: 2,700千円 (直接経費: 2,700千円); 2000年度: 2,700千円 (直接経費: 2,700千円); 1999年度: 3,600千円 (直接経費: 3,600千円)
• キーワード: マイクロホンアレー / 音声認識 / ハンズフリー / 音源同定 / 超指向特性 / 雑音抑圧 / 実環境 / ビームフォーミング / モデル適応

研究概要

近年,隠れマルコフモデルやニューラルネットワークなどの統計的手法により,音声認識性能は著しく改善された.しかしながら,実環境下では周囲雑音や残響等により音声認識性能が劣化するという重大な問題が残されている.
本研究では,実環境における3次元音場中の音源を同定し信号を高精度に抽出するため,マイクロホンアレー技術に着目した.ここでは,以下のような成果を得ることができた.
(1)54chマイクロホンアレーを用いて,実音場データベースの収録・配布を行った.
(2)CSP法を用いた高精度音源方位同定処理を実現した.また,移動ロボットへの応用を行った.
(3)新しいアレー信号処理として,マルチビームフォーミング法,独立成分分析(ICA)に基づくブラインド音源分離処理を考案し,実機実験によって,これらの有効性を示した.
(4)3次元ビタビ探索による音源同定と音声認識の統合的アルゴリズムを提案した.
本科学研究補助金の成果は,以下のように公開された.
学術論文12件,国際会議30件,招待講演4件,研究会11件,大会講演15件.

研究成果

• [文献書誌] 西浦 敬信: "CSP法による音源位置同定を備えたマルチビームフォーミング"電子情報通信学会論文誌. Vol.J83-D-II, No.7. 1610-1619 (2000)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 西浦 敬信: "マイクロホンアレーを用いたCSP法による複数音源位置推定"電子情報通信学会論文誌. Vol.J83-D-II, No.8. 1713-1721 (2000)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 西浦 敬信: "反射音を利用したマルチビームフォーミングによる音声認識"電子情報通信学会論文誌. Vol.J83-D-II, No.11. 2198-2205 (2000)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 三木 一浩: "マイクロホンアレーとHMM分解・合成法による雑音・残響下音声認識"電子情報通信学会論文誌. Vol.J83-D-II, No.11. 2206-2214 (2000)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Tetsuya Takiguchi: "HMM-Separation-Based Speech Recognition for a Distant Moving Speaker"IEEE Transactions on Speech and Audio Processing. Vol.9, NO.2. 127-140 (2001)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Hidekazu Kamiyanagida: "Direction of Arrival Estimation Using Nonlinear Microphone Array"IEICE Transactions Fundamentals. Vol.E84-A, No.4. 999-1010 (2001)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Takeshi Yamada: "Distant-Talking Speech Recognition Based on a 3-D Viterbi search using a microphone array"IEEE Transactions on Speech and Audio Processing. Vol.10, No.2. 48-56 (2002)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Panikos Heracleous: "A Microphone Array-based 3-D N-best Search for Simultanous Recognition of Multiple Sound Sources"IEICE Trans. Information and Systems. Vol.E85-D, No.6. 994-1002 (2002)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Yuko Okada: "A design of adaptive beamformer based on average speech spectrum for noisy speech recognition"Acoustical Science and Technology. Vol.23, No.6. 323-327 (2002)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Hiroshi Saruwatari: "Fast-Convergence Algorithm for Blind Source Separation Based on Array Signal Processing"IEICE Trans.Fundamentals. Vol.E86-A, No.3. 286-291 (2003)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Tsuyoki Nishikawa: "Blind source separation of acoustic signals based on multistage ICA combining frequency-domain ICA and time-domain ICA"IEICE Trans.Fundamentals. Vol.E86-A, No.4. 846-858 (2003)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Tsuyoki Nishikawa: "Stable learning algorithm for blind separation of temporally correlated acoustic signals combining multistage ICA and Linear Prediction"IEICE Transactions Fundamentals. Vol.E86-A, No.8(in printing). (2003)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Takanori Nishiura: "Multiple Beamforming with Source localization Based on CSP Analysis, (in Japanese)"IEICE Trans.on Information and Systems. Vol.J83-D-II, No.7. 1610-1619 (2000)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Takanori Nishiura: "Localization of Multiple Sound Sources Based on CSP Analysis with a Microphone Array, (inJapanese)"IEICE Trans.on Information and Systems. Vol.J83-D-II, No.8. 1713-1721 (2000)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Takanori Nishiura: "Speech Recognition by Multiple Beamforming Utilizing Reflection Signals, (in Japanese)"IEICE Trans.on Information and Systems. Vol.J83-D-II, No.11. 2198-2205 (2000)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Kazuhiro Miki: "Speech Recognition Based on HMM Decomposition and Composition Method with a Microphone Array in Noisy Reverberant Environments, (in Japanese)"IEICE Trans.on Information and Systems. Vol.J83-D-II, No.11. 2206-2214 (2000)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Tetsuya Takiguchi: "HMM-Separation-Based Speech Recognition for a Distant Moving Speaker"IEEE Transactions on Speech and Audio Processing. Vol.9, No.2. 127-140 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Hidekazu Kamiyanagida: "Direction of Arrival Estimation Using Nonlinear Microphone Array"IEICE Transactions Fundamentals. Vol.E84-A, No.4. 999-1010 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Takeshi Yamada: "Distant-Talking Speech Recognition Based on a 3-D Viterbi search using a microphone array"IEEE Transactions on Speech and Audio Processing. Vol.10, No.2. 48-56 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Panikos Heracleous: "A Microphone Array-based 3-D N-best Search for Simultaneous Recognition of Multiple Sound Sources"IEICE Trans.Information and Systems. Vol.E85-D, No.6. 994-1002 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Yuko Okada: "A design of adaptive beamformer based on average speech spectrum for noisy speech recognition"Acoustical Science and Technology. Vol.23, No.6. 323-327 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Hiroshi Saruwatari: "Fast-Convergence Algorithm for Blind Source Separation Based on Array Signal Processing"IEICE Trans.Fundamentals. Vol.E86-A, No.3. 286-291 (2003)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Tsuyoki Nishikawa: "Blind source separation of acoustic signals based on multistage ICA combining frequency-domain ICA and time-domain ICA"IEICE Trans.Fundamentals. Vol.E86-A, No.4. 846-858 (2003)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Tsuyoki Nishikawa: "Stable learning algorithm for blind separation of temporally correlated acoustic signals combining multistage ICA and Linear Prediction"IEICE Trans.Fundamentals. Vol.E86-A, No.8 (in printing). (2003)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Panikos Heracleous: "A Microphone Array-based 3-D N-best Search for Simultaneous Recognition of Multiple Sound Sources"IEICE Trans. Information and Systems. Vol.E85-D, No.6. 994-1002 (2002)
• [文献書誌] Yuko Okada: "A design of adaptive beamformer based on average speech spectrum for noisy speech recognition"Acoustical Science and Technology. Vol.23, No.6. 323-327 (2002)
• [文献書誌] Hiroshi Saruwatari: "Fast-Convergence Algorithm for Blind Source Separation Based on Array Signal Processing"IEICE Trans. Fundamentals. Vol.E86-A, No.3. 286-291 (2003)
• [文献書誌] Tsuyoki Nishikawa: "Blind source separation of acoustic signals based on multistage ICA combining frequency-domain ICA and time-domain ICA"IEICE Trans. Fundamentals. Vol.E86-A, No.4(in printing). (2003)
• [文献書誌] Tsuyoki Nishikawa: "Stable learning algorithm for blind separation of temporally correlated acoustic signals combining multistage ICA and Linear Prediction"IEICE Trans. Fundamentals. Vol.E86-A, No.8(in printing). (2003)
• [文献書誌] Takanobu Nishiura: "Talker localization in a Real Acoustic Environment based on DOA Estimation and Statistical Sound Source Identification"Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2002). 2892-2895 (2002)
• [文献書誌] Tsuyoki Nishikawa: "Blind Source Separation Based on Multi-Stage ICA Combining Frequency-Domain ICA and Time-Domain ICA"Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2002). 2938-2941 (2002)
• [文献書誌] Hiroshi Saruwatari: "Blind Source Separation Based on Fast-Convergence Algorithm Using ICA and Beamforming for Real Convolutive Mixture"Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2002). 3097-3100 (2002)
• [文献書誌] Takanobu Nishiura: "Talker Tracking Display on Autonomous Mobile Robot with a Moving Microphone Array"Proceedings of the Eighth International Conference on Auditory Display (ICAD2002). 244-247 (2002)
• [文献書誌] Hiroshi Saruwatari: "Evaluation of Fast-Convergence Algorithm for Blind Source Separation of Real Convolutive Mixture"Proc. of 6th International Conference on Signal Processing (ICSP'02). 346-349 (2002)
• [文献書誌] Satoshi Nakamura: "Design and Collection of Acoustic Sound Data for Hands-Free Speech Recognition and Sound Scene Understanding"Proc. of IEEE International Conference on Multimedia and Expo (ICME2002). 161-164 (2002)
• [文献書誌] Tsuyoki Nishikawa: "Comparison of Time-Domain ICA, Frequency-Domain ICA and Multistage ICA"Proc. the 2002 European Signal Processing Conference (EUSIPCO2002). Vol.II. 15-18 (2002)
• [文献書誌] Takanobu Nishiura: "Suitable Design of Adaptive Beamformer Based on Average Speech Spectrum for Noisy Speech Recognition"Proc. of 7th International Conference on Spoken Language Processing (ICSLP2002). 1789-1792 (2002)
• [文献書誌] Tsuyoki Nishikawa: "Stable Learning Algorithm for Blind Separation of Temporally Correlated Signals Combining Multistage ICA and Linear Prediction"Proc. of Fourth International Symposium on Independent Component Analysis and Blind Signal Separation. No.P2A-05(in printing). (2003)
• [文献書誌] Rajkishore Prasad: "A Fixed-Point ICA Algorithm for Convoluted Speech Signal Separation"Proc. of Fourth International Symposium on Independent Component Analysis and Blind Signal Separation. No.P3A-07(in printing). (2003)
• [文献書誌] Hiroshi Saruwatari: "(Invited Paper) Blind Source Separation of Acoustic Signals Based on Multistage Independent Component Analysis"Proc. of Summer Meeting of Acoustical Society of Korea. 9-14 (2002)
• [文献書誌] Hidekazu Kamiyanagida: "Direction of Arrival Estimation Using Nonlinear Microphone Array"IEICE Transactions Fundamentals. Vol.E84-A, No.4. 999-1010 (2001)
• [文献書誌] Hiroshi Saruwatari: "Blind Source Separation Combining Frequency-Domain ICA and Beamforming"Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP2001). No. MULT-P2. 2733-2736 (2001)
• [文献書誌] Hidekazu Kamiyanagida: "Direction of Arrival Estimation Based on Nonlinear Microphone Array"Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP2001). No. SAM-P7. 3033-3036 (2001)
• [文献書誌] Takanobu Nishiura: "Speech Enhancement by Multiple Beamforming with Reflection Signal Equalization"Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing (JCASSP2001). No. SPEECH-L11. 189-192 (2001)
• [文献書誌] Panikos Heracleous: "A Microphone Array -Based 3-D N-Best Search Algorithm for the Simultaneous Recognition of Multiple Sound Sources in Real Environments"Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP2001). No. SPEECH-L11. 193-196 (2001)
• [文献書誌] Hiroshi Saruwatari: "Blind Source Separation for Speech Based on Fast-Convergence Algorithm with ICA and Beamforming"Proc. of 7^<th> European Conference on Speech Communication and Technology(EUROSPEECH2001). 2603-2606 (2001)
• [文献書誌] Hiroshi Saruwatari: "Fast-Convergence Algorithm for ICA-Based Blind Source Separation Using Array Signal Processing"Proc. of 11^<th> IEEE Workshop on Statistical Signal Processing(SSP2001). 464-467 (2001)
• [文献書誌] Hiroshi Saruwatari: "Blind Source Separation Based on Fast-Convergence Algorithm Using ICA and Array Signal Processing"Proc. of 3^<rd> International Conference on Component Analysis and Blind Signal Separation. 412-417 (2001)
• [文献書誌] Tsuyoki Nishikawa: "Blind Source Separation Based on Multi-Stage ICA Using Frequency-Domain ICA and Time-Domain ICA"Proc. of 3^<rd> International Conference on Fundamentals of Electronics, Communications and Computer Science. (採録決定済,3月発表予定). (2002)
• [文献書誌] 猿渡 洋: "(招待論文)アレー信号処理を用いたブラインド信号分離の基礎"電子情報通信学会 電気音響研究会 技術報告書. Vol.EA2001-7. 49-56 (2001)
• [文献書誌] 猿渡 洋: "(招待論文)雑音適応型相補的指向特性形成法に基づく非線形マイクロホンアレーを用いた音声強調"電子情報通信学会 音声研究会 技術報告書. Vol.SP2001-68. 43-44 (2001)
• [文献書誌] 猿渡 洋: "(招待論文)音声・音響信号を対象としたブラインド音源分離"電子情報通信学会 DSP研究会 技術報告書. Vol.DSP2001-194. 59-66 (2002)
• [文献書誌] Toshiya Kawamura: "Blind Source Separation Based on Fast-Convergence Algorithm with ICA and Beamforming"IEICE Technical Report. Vol.EA2001-2. 9-16 (2001)
• [文献書誌] 中村 雅也: "マイクロホンアレーを用いた自立移動型ロボットにおける話者位置推定"電子情報通信学会 電気音響研究会 技術報告書. Vol.EA2001-4. 25-32 (2001)
• [文献書誌] Tsuyoki Nishikawa: "Comparison of Blind Source Separation Methods Based on Time-Domain ICA Using Nonstationarity and Multistage ICA"IEICE Technical Report. Vol.EA2001-112. 45-52 (2001)
• [文献書誌] 上柳 英和: "オンラインアルゴリズムに基づく非線型マイクロホンアレーを用いた移動音源方位推定"電子情報通信学会 電気音響研究会 技術報告書. (3月発表予定). (2002)
• [文献書誌] 西浦敬信: "CSP法による音源位置同定を備えたマルチビームフォーミング"電子情報通信学会論文誌. Vol.J83-D-II,No.7. 1610-1619 (2000)
• [文献書誌] 西浦敬信: "マイクロホンアレーを用いたCSP法による複数音源位置推定"電子情報通信学会論文誌. Vol.J83-D-II,No.8. 1713-1721 (2000)
• [文献書誌] 西浦敬信: "反射音を利用したマルチビームフォーミングによる音声認識"電子情報通信学会論文誌. Vol.J83-D-II,No.11. 2198-2205 (2000)
• [文献書誌] 三木一浩: "マイクロホンアレーとHMM分解・合成法による雑音・残響下音声認識"電子情報通信学会論文誌. Vol.J83-D-II,No.11. 2206-2214 (2000)
• [文献書誌] Hidekazu Kamiyanagida: "Direction of Arrival Estimation Using Nonlinear Microphone Array"IEICE Transactions Fundamentals. Vol.E84-A,No.4(発表予定). (2001)
• [文献書誌] 三木一浩: "HMUを用いた環境音識別の検討"電子情報通信学会技術研究報告. SP99-106. 79-84 (1999)
• [文献書誌] 岡田有加: "音声の長時間スペクトル特性を考慮したアダプティグマイクロホンアレーによる音声認識"電子情報通信学会技術研究報告. SP99-71. (1999)
• [文献書誌] 西浦敬信: "実環境における反射音を利用したマルチビームフォーミングの検討"電子情報通信学会技術研究報告. SP99-1333. (2000)
• [文献書誌] 中村哲: "実環境におけるハンズフリー音声認識"電子情報通信学会技術研究報告. SP99-1112. 115-120 (1999)
• [文献書誌] Panikos Heracleous: "Simultaneous Recognition of Multiple Sound Sources based on 3-D N-best Search Using a Microphone Avray"Eurospeech 99. 9月号. (1999)
• [文献書誌] Sotoshi Nakamura: "Recognition of Distant Talking Speech based on 3-D Trellis Search using a Microphone Array and Adaptive Beamforning"Robust 99. 5月号. 219-222 (1999)