実環境バイモーダル音声認識共通評価基盤の構築

• 研究課題/領域番号: 19700163
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 名古屋大学
• 研究代表者: 宮島 千代美 名古屋大学, 大学院・情報科学研究科, 助教 (90335092)
• 研究期間 (年度): 2007 – 2009
• 研究課題ステータス: 完了 (2009年度)
• 配分額: 3,843千円 (直接経費: 3,325千円、間接経費: 517千円); 2009年度: 813千円 (直接経費: 625千円、間接経費: 187千円); 2008年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2007年度: 1,600千円 (直接経費: 1,600千円)
• キーワード: バイモーダル音声認識 / データベース / 雑音環境 / 車内雑音 / 雑音下音声認識 / 音声認識性能評価 / 近赤外映像 / 自動車内雑音 / 主成分分析 / オプティカルフロー

研究概要

車内雑音環境での音声認識を対象としたバイモーダル音声認識評価用のコーパスを構築するため,室内と車内でバイモーダル音声データを収録しデータ整備を行った.室内データについては,車内で収録した雑音と映像の輝度変化を利用して雑音を重畳することにより,車内の雑音環境を模擬した.また,評価実験を通じて,評価の基準となるベースラインの特徴量や認識条件を選定し,評価用スクリプトやマニュアルと併せてDVDにて配布する準備が整った.これらは,研究用データベースとして,今後配布される予定である.

研究成果

• [雑誌論文] CENSREC-1-C: An evaluation framework for voice activity detection under noisy environments (2009)
  • 著者名/発表者名: N. Kitaoka, T. Yamada, S. Tsuge, C. Miyajima, K. Yamamoto, T. Nishiura, M. Nakayama, Y. Denda, M. Fujimoto, T. Takiguchi, S. Tamura, S. Matsuda, T. Ogawa, S. Kuroiwa, K. Takeda, S. Nakamura
  • 雑誌名: Acoustical Science and Technology ページ: 363-371
  • NAID: 10025992968
  • 査読あり
• [雑誌論文] CENSREC-1-C : An evaluation framework for voice activity detection under noisy environments (2009)
  • 著者名/発表者名: N.Kitaoka, T.Yamada, S.Tsuge, C.Miyajima, K.Yamamoto, T.Nishiura, M.Nakayama, Y.Denda, M.Fujimoto, T.Takiguchi, S.Tamura, S.Matsuda, T.Ogawa, S.Kuroiwa, K.Takeda, S.Nakamura
  • 雑誌名: Acoustical Science and Technology 30 ページ: 363-371
  • NAID: 10025992968
  • 査読あり
• [雑誌論文] 音声と画像の統合によるドライバの発話区間検出 (2008)
  • 著者名/発表者名: 二宮芳樹, 坂義秀, 前野俊希, 根木大輔, 宮島千代美, 森健策, 北坂孝幸, 末永康仁
  • 雑誌名: 映像情報メディア学会誌 vol.62,no.3 ページ: 435-441
  • NAID: 110006855164
  • 査読あり
• [雑誌論文] 多様な音響環境下における音声認識システム利用時のデータ収集システム (2007)
  • 著者名/発表者名: 原直, 宮島千代美, 伊藤克亘, 武田一哉
  • 雑誌名: 電子情報通信学会論文誌 vol.J90-D,no.10 ページ: 1115-1123
  • NAID: 110007380588
  • 査読あり
• [雑誌論文] 音声と画像の統合によるドライバの発話区間検出 (2007)
  • 著者名/発表者名: 二宮芳樹, 坂義秀, 前野俊希, 根木大輔, 宮島千代美, 森健策, 北坂孝幸, 末永康仁
  • 雑誌名: 映像情報メディア学会誌 vol.62 ページ: 435-441
  • NAID: 110006855164
  • 査読あり
• [雑誌論文] 多様な音響環境下における音声認識システム利用時のデータ収集システム (2007)
  • 著者名/発表者名: 原直, 宮島千代美, 伊藤克亘, 武田一哉
  • 雑誌名: 電子情報通信学会論文誌 vol.J90-D ページ: 1115-1123
  • NAID: 110007380588
  • 査読あり
• [学会発表] CENSREC-1-AV:マルチモーダル音声認識コーパスの構築 (2010)
  • 著者名/発表者名: 田村哲嗣, 宮島千代美, 北岡教英, 武田一哉, 山田武志, 滝口哲也, 柘植覚, 山本一公, 西浦敬信, 中山雅人, 傳田遊亀, 藤本雅清, 松田繁樹小川哲司, 黒岩眞吾, 中村哲
  • 学会等名: 2010年日本音響学会春季研究発表会
  • 発表場所: 電気通信大学(東京都)
  • 年月日: 2010-03-08
• [学会発表] CENSREC- 1-AV:マルチモーダル音声認識コーパスの構築 (2010)
  • 著者名/発表者名: 田村哲嗣, 宮島千代美, 北岡教英, 武田一哉, 山田武志, 滝口哲也, 柘植覚, 山本一公, 西浦敬信, 中山雅人, 傳田遊亀, 藤本雅清, 松田繁樹, 小川哲司, 黒岩眞吾, 中村哲
  • 学会等名: 2010年日本音響学会春季研究発表会
  • 発表場所: 調布市
• [学会発表] 複数音響モデルからの最適選択による音声認識 (2009)
  • 著者名/発表者名: 伊藤新, 原直, 宮島千代美, 北岡教英, 武田一哉
  • 学会等名: 2009年電気関係学会東海支部連合大会
  • 発表場所: 愛知工業大学(愛知県)
  • 年月日: 2009-09-10
• [学会発表] 自動車運転コーパスにおける行動観測信号の統合と利用 (2009)
  • 著者名/発表者名: 武田一哉, 尾崎晃, マルタルーカス, 西脇由博, 宮島千代美, 北岡教英
  • 学会等名: 2009年マルチメディア,分散,協調とモバイルシンポジウム
  • 発表場所: 杉乃井ホテル(大分県)
  • 年月日: 2009-07-08
• [学会発表] 複数音響モデルからの最適選択による音声認識 (2009)
  • 著者名/発表者名: 伊藤新, 原直, 宮島千代美, 北岡教英, 武田一哉
  • 学会等名: 2009年電気関係学会東海支部連合大会
  • 発表場所: 豊田市
• [学会発表] 動車運転コーパスにおける行動観測信号の統合と利用 (2009)
  • 著者名/発表者名: 武田一哉, 尾崎晃, マルタルーカス, 西脇由博, 宮島千代美, 北岡教英
  • 学会等名: 2009年マルチメディア, 分散, 協調とモバイルシンポジウム
  • 発表場所: 別府市
• [学会発表] CENSREC-AV : Evaluation frameworks for audio-visual speech recognition (2008)
  • 著者名/発表者名: S. Tamura, C. Miyajima, N. Kitaoka, S. Hayamizu, K. Takeda
  • 学会等名: International. Conference on Auditory and Visual Speech Processing
  • 発表場所: Tangalooma, Australia
  • 年月日: 2008-09-27
• [学会発表] CENSREC-4 : Development of evaluation framework for distant-talking speech recognition under reverberant environments (2008)
  • 著者名/発表者名: M. Nakayama, T. Nishiura, Y. Denda, N. Kitaoka, K. Yamamoto, T. Yamada, S. Tsuge, C. Miyajima, M. Fujimoto, T. Takiguchi, S. Tamura, T. Ogawa, S. Matsuda, S. Kuroiwa, K. Takeda, S. Nakamura
  • 学会等名: International Conference on Spoken Language Processing
  • 発表場所: Brisbane, Australia
  • 年月日: 2008-09-24
• [学会発表] Multi-modal real-world driving data collection, transcription, and integration using Bayesian network (2008)
  • 著者名/発表者名: L. Malta, P. Angkititrakul, C. Mivaiima, K. Takeda
  • 学会等名: Intelligent Vehicles Symposium
  • 発表場所: Marrakech, Morocco
  • 年月日: 2008-06-05
• [学会発表] CENSREC-4 : Development of evaluation framework for distant-talking speech recognition under reverberant environments (2008)
  • 著者名/発表者名: T. Nishiura, M. Nakayama, Y. Denda, N. Kitaoka, K. Yamamoto, T. Yamada, S. Tsuge, C. Miyajima, M. Fujimoto, T. Takiguchi, S. Tamura, S. Kuroiwa, K. Takeda, and S. Nakamura
  • 学会等名: Language Resources and Evaluation Conference
  • 発表場所: Marrakech, Morocco
  • 年月日: 2008-05-29
• [学会発表] In-car speech data collection along with various multimodal signals (2008)
  • 著者名/発表者名: A. Ozaki, S. Hara, T. Kusakawa, C. Miyajima, T. Nishino, N. Kitaoka, K. Itou, K. Takeda
  • 学会等名: Language Resources and Evaluation Conference
  • 発表場所: Marrakech, Morocco
  • 年月日: 2008-05-28
• [学会発表] CENSREC-AV: Evaluation frameworks for audio- visual speech recognition (2008)
  • 著者名/発表者名: S. Tamura, C. Miyajima, N. Kitaoka, S. Hayamizu, K. Takeda
  • 学会等名: 2008 International Conference on Auditory and Visual Speech Processing
  • 発表場所: オーストラリア
• [学会発表] CENSREC-4: Development of evaluation framework for distant- talking speech recognition under reverberant environments (2008)
  • 著者名/発表者名: M. Nakayama, T. Nishiura, Y. Denda, N. Kitaoka, K. Yamamoto, T. Yamada, S. Tsuge, C. Miyajima, M. Fujimoto, T. Takiguchi, S. Tamura, T. Ogawa, S. Matsuda, S. Kuroiwa, K. Takeda, S. Nakamura
  • 学会等名: 2008 International Conference on Spoken Language Processing
  • 発表場所: オーストラリア
• [学会発表] In-car speech data collection along with various multimodal signals (2008)
  • 著者名/発表者名: L. Malta, P. Angkititrakul, C. Miyajima, K. Takeda
  • 学会等名: 2008 IEEE Intelligent Vehicles Symposium
  • 発表場所: オランダ
• [学会発表] In-car speech data collection along with various multimodal signals (2008)
  • 著者名/発表者名: A. Ozaki, S. Hara, T. Kusakawa, C. Miyajima, T. Nishino, N. Kitaoka, K. Itou, K. Takeda
  • 学会等名: 2008 Language Resources and Evaluation Conference
  • 発表場所: モロッコ
• [学会発表] CENSREC- 4: Development of evaluation framework for distant-talking speech recognition under reverberant environments (2008)
  • 著者名/発表者名: T. Nishiura, M. Nakayama, Y. Denda, N. Kitaoka, K. Yamamoto, T. Yamada, S. Tsuge, C. Miyajima, M. Fujimoto, T. Takiguchi, S. Tamura, S. Kuroiwa, K. Takeda, S. Nakamura
  • 学会等名: 2008 Language Resources and Evaluation Conference
  • 発表場所: モロッコ
• [学会発表] Development of VAD evaluation framework CENSREC- 1-C and investigation of relationship between VAD and speech recognition performance (2007)
  • 著者名/発表者名: N. Kitaoka, K. Yamamoto, T. Kusamizu, S. Nakagawa, T. Yamada, S. Tsuge, C. Miyajima, T. Nishiura, M. Nakayama, Y. Denda, M. Fujimoto, T. Takiguchi, S. Tamura, S. Kuroiwa, K. Takeda, S. Nakamura
  • 学会等名: 2007 IEEE workshop on Automatic Speech Recognition and Understanding
  • 発表場所: 京都市
• [学会発表] On-going data collection for driving behavior signal (2007)
  • 著者名/発表者名: C. Miyajima, T. Kusakawa, T. Nishino, N. Kitaoka, K. Itou, K. Takeda
  • 学会等名: 2007 Biennial on DSP for in-Vehicle and Mobile Systems
  • 発表場所: トルコ
• [学会発表] Development of VAD evaluation framework CENSREC-1-C and investigation of relationship between VAD and speech recognition perfor mance (2007)
  • 著者名/発表者名: N. Kitaoka, K. Yamamoto, T. Kusamizu, S. Nakagawa, T. Yamada, S. Tsuge, C. Miyajima, T. Nishiura, M. Nakayama, Y. Denda, M. Fujimoto, T. Takiguchi, S. Tamura, S. Kuroiwa, K. Takeda, and S. Nakamura
  • 学会等名: Proc. IEEE workshop on Automatic Speech Recognition and Understanding
  • 発表場所: Kyoto, Japan
• [学会発表] On-going data collection for driving behavior signal (2007)
  • 著者名/発表者名: C. Miyajima, T. Kusakawa, T. Nishino, N. Kitaoka, K. Itou, and K. Takeda,
  • 学会等名: Proc. 2007 Biennial on DSP for in-Vehicle and Mobile Systems
  • 発表場所: Istanbul, Turkey
• [図書] Multimodal Speech Corpora for Robust Japanese Speech Recognition in Noisy Environments(S. Itahashi and C.Y. Tseng eds., Computer Processing ofAsian Spoken Languages, Section 4.9(3)) (2010)
  • 著者名/発表者名: S. Tamura, C. Miyajima
  • 総ページ数: 5
• [図書] Computer Processing of Asian Spoken Languages (Section 4.10)(S. Itahashi, C.Y. Tseng eds., Multimodal Speech Corpora for Robust Japanese Speech Recognition in Noisy Environments) (2010)
  • 著者名/発表者名: M.Tamura, C.Mivajima
  • 総ページ数: 5
  • 出版者: Japanese Writer's House