マルチモーダル音声認識・合成による音声インターフェースの構築

1998 Fiscal Year Annual Research Report

• Project/Area Number: 10780226
• Research Institution: Nagoya Institute of Technology
• Principal Investigator: 徳田 恵一 名古屋工業大学, 工学部, 助教授 (20217483)
• Keywords: 隠れマルコフモデル / バイモーダル音声情報 / 音声合成 / 音声認識 / 視聴覚 / 唇動画像

Research Abstract

人間が関わるコミュニケーションにおいては,視覚と聴覚情報の担う役割が非常に大きい。このため,人間に優しいヒューマンインターフェースを実現する上で,視覚・聴覚を融合したマルチモーダルインターフェースの開発が重要な課題となっている。このようなマルチモーダルインターフェースの一つとして,音声と唇動画像による「バイモーダル音声認識」と,任意の文字テキストから自然な音声と唇の動きを同時に生成する「バイモーダル音声合成」を,「バイモーダル音声入出力システム」として統一された枠組の中で実現することを目指し,以下のような研究を行った.
●唇画像データベースの作成:音節または音素を単位とするHMM作成のために必要な唇画像を音声と同期して収録した。また,同期収録音声に基づいてラベル付けを行った。
●唇動画像による音声認識唇のためのHMMの学習法について検討し,新たに提案した位置の正規化学習が効果的であることを示した.
●唇動画像の生成については,輪郭モデルを用いるものと,画像ベースのものとを並行して,検討した.いずれにおいても,これまでに提案したHMMからのパラメータ生成アルゴリズムを用いることにより,良好な唇動画像を生成できることを確かめた.

Research Products

• [Publications] Masatsune Tamura: "Visual speech synthesis based on parameter generation from HMM:speech-driven and text-and-speech-driven approach" Proc. International Conference of Auditory-Visual Speech Proccssing. 219-224 (1998)
• [Publications] Osear Vanegas: "HMM-based visual speech recognition using intensity and location normalizaition" Proc. International Conference on Spoken Language Processing. vol.2. 789-792 (1998)
• [Publications] Takashi Masuko: "A very low bit rate speech coder using HMM with speaker adaptation" Proc. International Conference on Spoken Language Processing. vol.2. 507-510 (1998)
• [Publications] Masatsune Tamura: "Speaker adaptation for HMM-based speech synthesis system using MLLR" Proc. ESCA/COCOSDA Workshop on Speech Synthesis. 273-276 (1998)
• [Publications] Oscar Vanegas: "Intensity/Iocation normalization for automatice lipreading" Proc. International Conference on Signal Processing. vol.2. 920-923 (1998)
• [Publications] Keiichi Tokuda: "A very low bit rate speech coder using HMM-based sppech recognition/synthesis techniques" Proc. International Conference on acoustics,Speech,and Sigual Processing. vol.2. 609-612 (1998)