聴覚障害者の発声時顔動画像から音韻の発音学習度を推定する方法の検討

2005 Fiscal Year Annual Research Report

• Project/Area Number: 16500620
• Research Institution: Tsukuba University of Technology
• Principal Investigator: 青山 彦聖 筑波技術大学, 産業技術学部, 助教授 (90017426)
• Keywords: 聴覚障害者 / 発音学習度 / 顔動画数 / 3次元動画像解析

Research Abstract

音声発声時の顔動画像から音声の調音器官の動作を抽出し、それを利用して聴覚障害者の発音学習度を推定することが本研究の目的である。
経験豊かな発音学習指導者が発音学習者の顔のどの部位を注視し調音器官の動作情報を得ているか、そして発音学習に用いている単語および文章に関する昨年度の調査結果も参照し、唇の両端、両唇の中央、そして下唇の中央と唇の両端の中央の計6点を発声時顔動画像の注視点とすることにした。そして発声音声は発声時の口形が似ている40単語を用いることにした。
健聴の被験者(本研究代表者)の顔の前述の6点にマーカーを付け、40単語各発声時2方向から撮影した顔動画像を昨年度作成した3次元動画像解析システムでデータを収集した。得られた顔動画像データのマーカー6点を3次元運動解析した結果、上下両唇の中央点間距離、唇の両端間距離、上唇の中央点と唇の正面から見て左端点を結ぶ直線と唇の正面から見て左端点と下唇の中央点を結んだ線のなす角度、唇の左端点と上唇の中央点を結ぶ線と上唇の中央点と唇の右端点を結ぶ線のなす角度、下唇中央点の移動距離の時間変化パターンは発声音韻によって異なっていることがわかった。現在前述の時間変化パターンから発声音韻に関する特徴量を検討している。
それから聴覚障害を有し、発音学習度の異なる5人の被験者に対し前述の健聴の被験者と同様の実験を行った。収集された顔動画像データの3次元運動解析および解析結果のデータ整理には多大な時間を要するので、2人の実験補助者の援助も得て行ってきたが、まだ終了していない。またこれから発声した40単語音声の聞き取り試験を行い、その試験結果からどの音韻の発声の不正確性が各時間変化パターンにどのような影響として表れるかを検討していく。
発音学習指導法に関する今年度の調査から聴覚障害を有する児童が口話読み取りで頬の動きに注目しているとの情報が得られたので今後その部位の運動も検討に加えるつもりである。