研究課題
音声言語を認識する際、我々は聴覚からの情報だけでなく無意識に視覚からも多くの情報を取り込んで認識している。また、幼児は大人が話す際の顔の表情をじっと見ながら、その言葉を自分で真似をして繰り返すうちに、無意識に音声言語を習得している。筆者は、音声言語認識メカニズムや幼児の発音習得過程に着目した聴覚障害児のための発音練習システムを開発している。学習者の口唇動作をビデオカメラから取り込み、パソコン画面上でモデルスピーカの口唇動作と比較しながら発音練習を行なうCAIシステム“Lip Readingあい"を試作した。聴覚障害児の場合、音声がきこえにくいため、発音時の口唇動作を見ても、どのタイミングでどの発音をするのがよいかわかりづらく、発音時におけるどの口唇形状に着目すればよいのかを理解させにくい。そこで、聴覚障害児によりわかりやすく発音時の口唇動作を提示するために、口唇動作CGアニメーション(コンピュータグラフィックス(CG)で表現したモデル話者の口唇動作)を開発し、理想的な口唇動作を見ながら見真似発音練習できるようにした。評価実験の結果、CGアニメーションは口唇動作の特徴が掴みやすく、効率よく学習できることが確認できた。また、口唇動作CGアニメーションを見ながら発音練習することによって、学習者の読唇能力が向上することも確認できた。また、システムに、学習者口唇動作の誤り指摘機能を追加した。口唇動作の誤り指摘は有効なフィードバックであることが確認できた。
すべて 2009
すべて 雑誌論文 (1件) 学会発表 (1件)
情報研報 No. 15, Vol. 2009 (2009年2月) NO. 15
ページ: 185-192
