• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

1998 年度 実績報告書

マルチモーダル音声認識・合成による音声インターフェースの構築

研究課題

研究課題/領域番号 10780226
研究機関名古屋工業大学

研究代表者

徳田 恵一  名古屋工業大学, 工学部, 助教授 (20217483)

キーワード隠れマルコフモデル / バイモーダル音声情報 / 音声合成 / 音声認識 / 視聴覚 / 唇動画像
研究概要

人間が関わるコミュニケーションにおいては,視覚と聴覚情報の担う役割が非常に大きい。このため,人間に優しいヒューマンインターフェースを実現する上で,視覚・聴覚を融合したマルチモーダルインターフェースの開発が重要な課題となっている。このようなマルチモーダルインターフェースの一つとして,音声と唇動画像による「バイモーダル音声認識」と,任意の文字テキストから自然な音声と唇の動きを同時に生成する「バイモーダル音声合成」を,「バイモーダル音声入出力システム」として統一された枠組の中で実現することを目指し,以下のような研究を行った.
●唇画像データベースの作成:音節または音素を単位とするHMM作成のために必要な唇画像を音声と同期して収録した。また,同期収録音声に基づいてラベル付けを行った。
●唇動画像による音声認識唇のためのHMMの学習法について検討し,新たに提案した位置の正規化学習が効果的であることを示した.
●唇動画像の生成については,輪郭モデルを用いるものと,画像ベースのものとを並行して,検討した.いずれにおいても,これまでに提案したHMMからのパラメータ生成アルゴリズムを用いることにより,良好な唇動画像を生成できることを確かめた.

  • 研究成果

    (6件)

すべて その他

すべて 文献書誌 (6件)

  • [文献書誌] Masatsune Tamura: "Visual speech synthesis based on parameter generation from HMM:speech-driven and text-and-speech-driven approach" Proc. International Conference of Auditory-Visual Speech Proccssing. 219-224 (1998)

  • [文献書誌] Osear Vanegas: "HMM-based visual speech recognition using intensity and location normalizaition" Proc. International Conference on Spoken Language Processing. vol.2. 789-792 (1998)

  • [文献書誌] Takashi Masuko: "A very low bit rate speech coder using HMM with speaker adaptation" Proc. International Conference on Spoken Language Processing. vol.2. 507-510 (1998)

  • [文献書誌] Masatsune Tamura: "Speaker adaptation for HMM-based speech synthesis system using MLLR" Proc. ESCA/COCOSDA Workshop on Speech Synthesis. 273-276 (1998)

  • [文献書誌] Oscar Vanegas: "Intensity/Iocation normalization for automatice lipreading" Proc. International Conference on Signal Processing. vol.2. 920-923 (1998)

  • [文献書誌] Keiichi Tokuda: "A very low bit rate speech coder using HMM-based sppech recognition/synthesis techniques" Proc. International Conference on acoustics,Speech,and Sigual Processing. vol.2. 609-612 (1998)

URL: 

公開日: 1999-12-11   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi