実世界劣化音声コーパスに基づく音声強調法の研究

2007 年度 実績報告書

• 研究課題/領域番号: 19300060
• 研究機関: 名古屋大学
• 研究代表者: 武田 一哉 名古屋大学, 大学院・情報科学研究科, 教授 (20273295)
• 研究分担者: 北岡 教英 名古屋大学, 大学院・情報科学研究科, 准教授 (10333501) ; 山田 武志 筑波大学, 大学院・システム情報工学研究科, 准教授 (20312829) ; 滝口 哲也 神戸大学, 都市安全研究センター, 講師 (40397815) ; 西浦 敬信 立命館大学, 情報理工学部, 准教授 (70343275) ; 山本 一公 豊橋技術科学大学, 工学部, 助教 (40324230)
• キーワード: 雑音下音声認識 / 加法性雑音 / 乗法性雑音 / 音声区間検出 / 音声認識評価基盤

研究概要

これまでに収集した加法性雑音下音声認識評価基盤(CENSREC-1,2,3)に加えて乗法性雑音下音声認識評価用のデータベースを作成した。本DBには8種類の実環境で収集した残響(=乗法性雑音)をクリーン音声に畳み込んでシミュレートされた残響下音声、およびそのうち4環境では加法性雑音も加えた音声、その環境で実際に人間がその場で発声した実音声も収録した。そしてそれらのデータに基づいて音声認識の性能評価が行える評価基盤をCENSREC-4として構築した。これらの評価基盤はCENSRECシリーズとして一般にも公開され、CENSREC-4はすでに30部以上が配布されており、日本および世界での研究促進に寄与する。また、雑音下で音声が変形するロンバード効果についても分析し、今後のデータ収集への検討を開始した。
また、雑音や残響の音声認識への影響を分析し、それらを測る評価指標を考案し、事前に音声認識への影響を推測する方法の研究を行い、効果を得た。雑音下音声認識で効果的な音声区間検出については、本研究グループにより作成された雑音下音声区間検出評価基盤CENSREC-1-Cを用いたシミュレーション実験によりその効果を確認し、音声認識性能向上の指針を示した。音声区間検出手法の研究も行い、高次統計量を用いた高精度な音声区間検出手法、画像を組み合わせたアプローチなどを提案した。
加法性雑音下音声認識に関しては、その多様性を直接的に扱って多様な音響モデルを選択的に用いることにより高精度に認識する手法を提案して効果を得た。

研究成果

• [雑誌論文] Noisy Speech Recognition Based on Integration/Selection of Multiple Noise Suppression Methods Using Noise GMMs (2008)
  • 著者名/発表者名: Norihide Kitaoka, Souta Hamaguchi, Seiichi Nakagawa
  • 雑誌名: IEICE Transactions on Information and Systems Vol.E91-D ページ: 411-421
  • 査読あり
• [雑誌論文] Omnidirectional Audio-Visual Talker Localization Based on Dynamic Fusion of Audio-Visual Features Using Validity and Reliability Criteria (2008)
  • 著者名/発表者名: Yuki Denda, Takanobu Nishiura, and Yoichi Yamashita
  • 雑誌名: IEICE Transactions on Information and Systems Vol.E91-D ページ: 598-606
  • 査読あり
• [雑誌論文] 音声と画像の統合によるドライバの発話区間検出 (2008)
  • 著者名/発表者名: 二宮 芳樹, 坂 義秀, 前野 俊希, 根木 大輔, 宮島 千代美, 森 健策, 北坂孝幸, 末永 康仁
  • 雑誌名: 映像情報メディア学会誌 vol.62 ページ: 435-441
  • 査読あり
• [雑誌論文] 多様な音響環境下における音声認識システム利用時のデータ収集システム (2007)
  • 著者名/発表者名: 原 直, 宮島 千代美, 伊藤 克亘, 武田 一哉
  • 雑誌名: 電子情報通信学会論文誌 vol.J90-D ページ: 2807-2816
  • 査読あり
• [学会発表] Development of VAD evaluation framework CENSREC-1-C and investigation of relationship between VAD and speech recognition perf (2008)
  • 著者名/発表者名: Norihide Kitaoka, Kazumasa Yamamoto, Tomohiro Kusamizu, Seiichi Nakagawa, Takeshi Yamada, Satoru Tsuge, Chiyomi Miyajima, Takanobu Nishiura, Masato Nakayama, Yuki Denda, Masakiyo Fujimoto, Tetsuya Takiguchi, Satoshi Tamura, Shingo Kuroiwa, Kazuya Takeda, Satoshi Nakamura
  • 学会等名: IEEE ASRU-2007
  • 発表場所: The Westin Miyako Kyoto
  • 年月日: 2008-12-12
• [学会発表] 多数の雑音抑圧手法を用いた雑音下音声認識の検討 (2008)
  • 著者名/発表者名: 河野太一, 山田武志, 北脇信彦
  • 学会等名: 日本音響学会2008年春季研究発表会
  • 発表場所: 千葉工業大学
  • 年月日: 2008-03-17
• [学会発表] 雑音下音声認識の性能推定に適したひずみ尺度の検討 (2008)
  • 著者名/発表者名: 橋本倫和, 山田武志, 北脇信彦
  • 学会等名: 日本音響学会2008年春季研究発表会
  • 発表場所: 千葉工業大学
  • 年月日: 2008-03-17
• [学会発表] 認識タスクを考慮した雑音下音声認識の性能推定の検討 (2008)
  • 著者名/発表者名: 中島智弘, 山田武志, 北脇信彦
  • 学会等名: 日本音響学会2008年春季研究発表会
  • 発表場所: 千葉工業大学
  • 年月日: 2008-03-17
• [学会発表] 室内音響指標を用いた残響下音声認識性能の評価 (2008)
  • 著者名/発表者名: 平野 良季, 傳田 遊亀, 中山 雅人, 西浦 敬信
  • 学会等名: 日本音響学会2008年春季研究発表会
  • 発表場所: 千葉工業大学
  • 年月日: 2008-03-17
• [学会発表] 残響下音声認識評価基盤(CENSREC-4)の構築 (2008)
  • 著者名/発表者名: 西浦 敬信, 中山 雅人, 傳田 遊亀, 北岡 教英, 山本 一公, 山田 武志, 藤本 雅清, 柘植 覚, 宮島 千代美, 滝口 哲也, 田村 哲嗣, 小川 哲司, 松田 繁樹, 黒岩 眞吾, 武田 一哉, 中村 哲
  • 学会等名: 日本音響学会2008年春季研究発表会
  • 発表場所: 千葉工業大学
  • 年月日: 2008-03-17
• [学会発表] VADが音声認識性能に与える影響についての検討 (2008)
  • 著者名/発表者名: 草水智浩, 山本一公, 北岡教英, 中川聖一
  • 学会等名: 日本音響学会2008年春季研究発表会
  • 発表場所: 千葉工業大学
  • 年月日: 2008-03-17
• [学会発表] 雑音下音声認識評価ワーキンググループ活動報告:認識に影響する要因の個別評価環境(2) (2007)
  • 著者名/発表者名: 北岡教英, 山田武志, 滝口哲也, 柘植覚, 山本一公, 宮島千代美, 西浦敬 信, 中山雅人, 傳田遊亀, 藤本雅清, 田村哲嗣, 松田繁樹, 小川哲司, 黒岩眞吾, 武田一哉, 中村哲
  • 学会等名: 第9回音声言語シンポジウム
  • 発表場所: NTT CS基礎研究所
  • 年月日: 2007-12-20
• [学会発表] 雑音下音声認識の性能推定のためのひずみ尺度の検討 (2007)
  • 著者名/発表者名: 橋本倫和, 山田武志, 北脇信彦
  • 学会等名: 第9回音声言語シンポジウム
  • 発表場所: NTT CS基礎研究所
  • 年月日: 2007-12-20
• [学会発表] 3次キュムラントバイスペクトラム特徴とReal AdaBoostによる音声区間検出 (2007)
  • 著者名/発表者名: 松田博義, 滝口哲也, 有木康雄
  • 学会等名: 日本音響学会2007年秋季研究発表会
  • 発表場所: 山梨大学
  • 年月日: 2007-09-19
• [学会発表] 室内音響指標を用いた残響下音声認識性能の分析と推定 (2007)
  • 著者名/発表者名: 平野 良季, 傳田 遊亀, 中山 雅人, 西浦 敬信
  • 学会等名: 日本音響学会2007年秋季研究発表会
  • 発表場所: 山梨大学
  • 年月日: 2007-09-19
• [学会発表] VADが音声認識性能に与える影響 (2007)
  • 著者名/発表者名: 草水智浩, 山本一公, 北岡教英, 中川聖一
  • 学会等名: FIT2007
  • 発表場所: 中京大学 豊田キャンパス
  • 年月日: 2007-09-06
• [学会発表] A Study of Suitable Reverberation Criteria for Distant-talking Speech Recognition With Room Acoustic Parameters (2007)
  • 著者名/発表者名: Takanobu Nishiura, Yoshiki Hirano, Yuki Denda, and Masato Nakayama
  • 学会等名: ICA2007
  • 発表場所: Madrid, Spain
  • 年月日: 2007-09-04
• [学会発表] Investigations into Early and Late Reflections on Distant-talking Speech Recognition Toward Suitable Reverberation Criteria (2007)
  • 著者名/発表者名: Takanobu Nishiura, Yoshiki. Hirano, Yuki Denda, and Masato Nakayama
  • 学会等名: INTERSPEECH 2007
  • 発表場所: Antwerp, Belgium
  • 年月日: 2007-08-29
• [学会発表] Omnidirectional Audio-Visual Talker Localizer With Dynamic Feature Fusion Based on Validity and Reliability Criteria (2007)
  • 著者名/発表者名: Yuki Denda, Takanobu Nishiura, and Yoichi Yamashita
  • 学会等名: INTERSPEECH 2007
  • 発表場所: Antwerp, Belgium
  • 年月日: 2007-08-29