• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2007 年度 実績報告書

実環境バイモーダル音声認識共通評価基盤の構築

研究課題

研究課題/領域番号 19700163
研究機関名古屋大学

研究代表者

宮島 千代美  名古屋大学, 情報科学研究科, 助教 (90335092)

キーワードバイモーダル音声認識 / 雑音下音声認識 / 自動車内雑音 / データベース / 近赤外映像 / 主成分分析 / オプティカルフロー
研究概要

公開予定のバイモーダル音声認識評価用データベースCENSREC-1-AV,及びCENSREC-2-AVに収めるためのバイモーダル音声データの収録を行った.まず,CENSREC-1-AV用として,室内において95名,CENSREC-2-AV用として,自動車内において57名の話者のバイモーダル音声の収録を行った.映像の収録は,カラーカメラの他に,夜間やトンネル内などの薄暗い環境においても撮影が可能な近赤外カメラも用いて行った.音声の収録は,室内では発話者の襟元と胸元に無指向性マイクを取り付けて,車内ではヘッドセットの接話マイクと運転席天井に取り付けた遠隔マイクを用いて行った.さまざまな雑音環境のバイモーダル音声を収録するために,アイドリング,市街地走行,高速走行,エアコンスイッチオン,窓開け,背景音楽再生等,収録時の背景雑音の条件を変化させた.収録した顔映像から,顔検出技術に優れた企業から提供を受けたアルゴリズムを利用して唇の両端を検出し,バイモーダル音声認識に必要な口唇領域を抽出した.また,公開するバイモーダル音声認識性能評価基盤において,評価における比較の基準となるベースラインの認識結果の実験条件について検討した.予備実験より,画像の特徴量としては,寄与率が80%になる次数までの主成分得点とその動的特徴量,及びオプティカルフローとその動的特徴量を利用することとし,音声の特徴量としては,CENSREC-1と同様に,MFCCとその動的特徴量を用いることとした.

  • 研究成果

    (4件)

すべて 2007

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (2件)

  • [雑誌論文] 音声と画像の統合によるドライバの発話区間検出2007

    • 著者名/発表者名
      二宮芳樹, 坂義秀, 前野俊希, 根木大輔, 宮島千代美, 森健策, 北坂孝幸, 末永康仁
    • 雑誌名

      映像情報メディア学会誌 vol.62

      ページ: 435-441

    • 査読あり
  • [雑誌論文] 多様な音響環境下における音声認識システム利用時のデータ収集システム2007

    • 著者名/発表者名
      原直, 宮島千代美, 伊藤克亘, 武田一哉
    • 雑誌名

      電子情報通信学会論文誌 vol.J90-D

      ページ: 1115-1123

    • 査読あり
  • [学会発表] Development of VAD evaluation framework CENSREC-1-C and investigation of relationship between VAD and speech recognition perfor mance2007

    • 著者名/発表者名
      N. Kitaoka, K. Yamamoto, T. Kusamizu, S. Nakagawa, T. Yamada, S. Tsuge, C. Miyajima, T. Nishiura, M. Nakayama, Y. Denda, M. Fujimoto, T. Takiguchi, S. Tamura, S. Kuroiwa, K. Takeda, and S. Nakamura
    • 学会等名
      Proc. IEEE workshop on Automatic Speech Recognition and Understanding
    • 発表場所
      Kyoto, Japan
    • 年月日
      20071209-13
  • [学会発表] On-going data collection for driving behavior signal2007

    • 著者名/発表者名
      C. Miyajima, T. Kusakawa, T. Nishino, N. Kitaoka, K. Itou, and K. Takeda,
    • 学会等名
      Proc. 2007 Biennial on DSP for in-Vehicle and Mobile Systems
    • 発表場所
      Istanbul, Turkey
    • 年月日
      20070617-19

URL: 

公開日: 2010-02-04   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi