聴覚障害者の発声時顔動画像から音韻の発音学習度を推定する方法の検討

2004 Fiscal Year Annual Research Report

• Project/Area Number: 16500620
• Research Institution: Tsukuba College of Technology
• Principal Investigator: 青山 彦聖 国立大学法人筑波技術短期大学, 電子情報学科電子工学専攻, 助教授 (90017426)
• Keywords: 聴覚障害者 / 発音学習度 / 3次元顔動画像解析

Research Abstract

音声発声時の顔各部位の運動は調音器官の運動そのものまたはその影響によるものである。そこで音声発声時の顔動画像から音声の調音器官の動作を抽出し、それを利用して聴覚障害者の発音学習度を推定することが本研究の目的である。
まず今年度購入した株式会社ライブラリーの多機能画像入力ボードおよび3次元動画像解析ソフトウエアをパーソナルコンピュータに組み込み及びインストールし、そしてそれに購入したCCDカメラを接続して3次元動画像解析システムを作成した。
次に聾学校の経験豊かな発音学習指導が発音学習者の顔のどの部位を注視して調音器官の制御情報を得ているかを、そして発音学習時用いている単語および文章を調査した。この調査で得られた知識を基に3次元運動解析する顔の部位を、唇の両端、両唇の中央、そして唇両端下方の下顎の6点とすることにした。発声単語は日常生活文リスト(大沼他、1987.4)に新たに8単語を加えた計40単語用いた。
健聴の被験者(本研究代表者)の顔の前述の6点にマーカーを付け、前述の40単語発声時の動画像を3次元動画像解析システムに取り込み、そして6点の3次元運動解析を行った。その結果上下両唇の中央点間、唇の両端間、および唇の端点とその下方下顎間距離、それから上唇の中央-唇端点-下唇の中央のなす角度、唇の一端点-下唇の中央-唇の他方の端点のなす角度、上唇の中央-唇の端点-その下方の下顎のなす角度は発声音韻によって特長付けられる可能性のあることがわかった。
最近ある発音学習指導者から聴覚障害を有する児童が口話読み取りで頬の動きに注目しているとの情報が得られたので今後その部位の運動についても検討して行く。