コンピュータグラフィックスを利用した聴覚障害児用見真似発音練習システムの開発

2009 Fiscal Year Annual Research Report

• Project/Area Number: 20500860
• Research Institution: Kurume Institute of Technology
• Principal Investigator: 小田 まり子 Kurume Institute of Technology, 工学部, 講師 (20269046)
• Co-Investigator(Kenkyū-buntansha): 河野 央 久留米工業大学, 工学部, 准教授 (60437746)
• Keywords: CG / 口唇動作 / Lip Reading / 聴覚障害児教育 / e-ラーニング

Research Abstract

音声言語を認識する際、我々は聴覚からの情報だけでなく無意識に視覚からも多くの情報を取り込んで認識している。また、幼児は大人が話す際の顔の表情をじっと見ながら、その言葉を自分で真似をして繰り返すうちに、無意識に音声言語を習得している。筆者は、音声言語認識メカニズムや幼児の発音習得過程に着目した聴覚障害児のための発音練習システムを開発している。学習者の口唇動作をビデオカメラから取り込み、パソコン画面上でモデルスピーカの口唇動作と比較しながら発音練習を行なうCAIシステム"Lip Readingあい"を試作した。
聴覚障害児の場合、音声がきこえにくいため、発音時の口唇動作を見ても、どのタイミングでどの発音をするのがよいかわかりづらく、発音時におけるどの口唇形状に着目すればよいのかを理解させにくい。そこで、口唇動作のみで発音が伝わりやすい話者の発音時における口唇動作(口角、上唇、下唇の変化量)を分析した。そして、口唇動作CGアニメーション(コンピュータグラフィックス(CG)で表現したモデル話者の口唇動作)を開発し、理想的な口唇動作を見ながら見真似発音練習をできるようにした。
現在は、障害児自身の顔かたちをリアルに表現したCGモデルが正しい口唇形状で正しく発音した場合のモデルCGアニメーションを開発している。今後は、自分自身によく似たCGモデルによる口唇動作アニメーションを見ながら発音練習した場合の効果を調べていきたい。