マルチモーダル音声認識・合成によるインターフェースの構築

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10780226
• Research Institution: Nagoya Institute of Technology
• Principal Investigator: 徳田 恵一 名古屋工業大学, 工学部, 助教授 (20217483)
• Keywords: 隠れマルコフモデル / バイモーダル音声情報 / 音声合成 / 音声認識 / 視聴覚 / 唇動画像

Research Abstract

人間が関わるコミュニケーションにおいては、視覚と聴覚情報の担う役割が非常に大きい。このため,人間に優しいヒューマンインターフェースを実現する上で,視覚・聴覚を融合したマルチモーダルインターフェースの開発が重要な課題となっている。このようなマルチモーダルインターフェースの一つとして,音声と唇動画像による「バイモーダル音声認識」と,任意の文字テキストから自然な音声と唇の動きを同時に生成する「バイモーダル音声合成」を,「バイモーダル音声入出力システム」として統一された枠組の中で実現することを目指し,以下のような研究を行った.
・唇画像データベースの作成:音節または音素を単位とするHMM作成のために必要な唇画像を音声と同期して収録した。また,同期収録音声に基づいてラベル付けを行った。
・唇動画像による音声認識唇のためのHMMの学習法について検討し,新たに提案した位置の正規化学習が効果的であることを示した.
・唇動画像の生成については,輪郭モデルを用いるものと,画像ベースのものとを並行して,検討した.いずれにおいても,これまでに提案したHMMからのパラメータ生成アルゴリズムを用いることにより,良好な唇動画像を生成できることを確かめた.
・以上の成果に基づいて,「入力音声に同期した唇動画像を生成するシステム」,「テキストから,音声と唇動画像を同時に生成するシステム」などを構築し,それらの有用性を示した.

Research Products

• [Publications] 益子 貴史: "多空間確立分布HMMによるピッチパタン生成"電子情報通信学会論文誌(D). (採録決定済). (2000)
• [Publications] 広井順: "HMMに基づいた極低ビットレート音声符号化"電子情報通信学会論文誌(D). vol.J82-D-II,no.11. 1857-1864 (1999)
• [Publications] K,Tokuda: "Speech parameter generation algorithms for HMM-based speech synthesis"Proceedings of International Conference on Acoustics,Speech,and Signal Processing. (採録決定済). (2000)
• [Publications] O.Vanegas: "Location normalization of HMM-based lip reading : Experiments for the M2VTS Database"IEEE International Conference on Image Processing. (1999)
• [Publications] T.Yoshimura: "Simultaneous modeling of spectrum,pitch and duration in HMM-based speech synthesis"Proceedings of European Conference on Speech Communication and Technology. (1999)
• [Publications] Y.Nankaku: "Intensity- and location-normalized training for HMM-based visual speech recognition"Proceedings of European Conference on Speech Communication and Technology. 1287-1290 (1999)
• [Publications] T.Masuko: "On the security of HMM-based speaker verification systems against imposture using synthetic speech"Proceedings of European Conference on Speech Communication and Technology. vol.3. 1223-1226 (1999)
• [Publications] K.Tokuda: "Hidden Markov models based on multi-space probability distribution for pitch pattern modeling"Proceedings of International Conference on Acoustics,Speech,and Signal Processing. vol.1. 229-232 (1999)
• [Publications] Masatsune Tamura: "Visual speech synthesis based on parameter generation from HMM : speech-driven and text-and-speech-driven approach"Proc.International Conference of Auditory-Visual Speech Processing. 219-224 (1998)
• [Publications] Oscar Vanegas: "HMM-based visual speech recognition using intensity and location normalization"Proc.International Conference on Spoken Language Processing. vol.2. 789-792 (1998)
• [Publications] Takashi Masuko: "A very low bit rate speech coder using HMM with speaker adaptation"Proc.International Conference on Spoken Language Processing. vol.2. 507-510 (1998)
• [Publications] Masatune Tamura: "Speaker adaptation for HMM-based speech synthesis system using MLLR"Proc.ESCA/COCOSDA Workshop on Speech Synthesis. 273-276 (1998)
• [Publications] Oscar Vanegas: "Intensity/location normalization for automatice lipreading"Proc.International Conference on Signal Processing. vol.2. 920-923 (1998)
• [Publications] Keiichi Tokuda: "A very low bit rate speech coder using HMM-based speech recognition/synthesis techniques"Proc.International Conference on Acoustics,Speech,and Signal Processing. vol.2. 609-612 (1998)
• [Publications] Takashi Masuko: "Text-to-visual speech synthesis based on parameter generation from HMM"Proc.International Conference on Acoustics,Speech,and Signal Processing. vol.6. 3745-3748 (1998)
• [Publications] 南角 吉彦: "Normalized Training for HMM-Based Automatic Lipreading"信学技報. vol.99,no.450. 61-66 (1999)
• [Publications] 酒向 慎司: "ピクセルベースアプローチによるHMMに基づいた唇動画像の生成"信学技報. vol.99,no.450. 55-60 (1999)
• [Publications] 徳田 恵一: "隠れマルコフモデルの音声合成への応用"信学技報. vol.99,no.255. 47-54 (1999)
• [Publications] 吉村 貴克: "HMMに基づく音声合成におけるスペクトル・ピッチ・状態継続長の同時モデル化"信学技報. vol.99,no.255. 33-38 (1999)
• [Publications] 吉村 貴克: "HMMに基づく音声合成システムのための状態継続長モデルの構築"信学技報. SP98-64,DSP98-85. 45-50 (1998)
• [Publications] 広井順: "HMMに基づいた極低ビットレート音声符号化"信学技報. SP98-63,DSP98-84. 39-44 (1998)