聴覚障害者の発声時顔動画像から音韻の発音学習度を推定する方法の検討

2006 Fiscal Year Annual Research Report

• Project/Area Number: 16500620
• Research Institution: Tsukuba University of Technology
• Principal Investigator: 青山 彦聖 筑波技術大学, 産業技術学部, 助教授 (90017426)
• Keywords: 聴覚障害者 / 発音学習度 / 顔動画像 / 3次元動画像解析

Research Abstract

音声発声時の顔動画像から音声の調音器官の動作を抽出し、それを利用して聴覚障害者の発音学習度を推定することが本研究の目的である。
健聴の被験者(本研究代表者)の顔の唇の両端、両唇の中央、そして下唇の中央と唇の両端の中点の計6点にマーカーを付け、口の動きが似ている40単語を発声する時の顔を2方向から撮影した動画像を3次元動画像解析システムで収録した。得られた顔動画像のマーカー6点を3次元運動解析した結果から、上下両唇の中央点間距離、唇の両端間距離、上唇の中央点と唇の正面から見て左端点を結ぶ直線と唇の正面から見て左端点と下唇の中央点を結んだ線のなす角度、下唇中央点の移動距離の各パラメータを発声音韻に着目して検討を行った。その結果前述の各パラメータの最大値または最小値は母音を、各パラメータの変化速度、すなわち加速度は子音を特徴つけるパラメータの一つとして用いられ得ることがわかった。そこで聴覚障害を有し、発音学習度の異なる5人の被験者に対し前述の健聴の被験者と同様の実験を行った。聴覚に障害のある被験者が発声した40単語音声の聞き取り試験を成人7名(男性3名、女性4名)で行った結果から得られた各被験者の音韻の発声の不正確性によって、聴覚に障害のある被験者の前述の各パラメータが健聴の被験者のそれとどのように異なるかを検討した。その結果発音学習度が低いほど各パラメータの最大または最小値は母音による差異が小さく、また各パラメータの変化速度は子音による差異が小さいことがわかった。現在それらの数値化を行っているところである。