音声と口唇動画像を併用した英語発音練習システムにおける発音学習時の眼球運動の測定

2006 Fiscal Year Annual Research Report

• Project/Area Number: 17500669
• Research Institution: Kurume Institute of Technology
• Principal Investigator: 小田 まり子 久留米工業大学, 工学部, 講師 (20269046)
• Keywords: 眼球運動 / 英語発音 / 口唇動画像 / Lip Reading

Research Abstract

見真似による発音練習システム"Lip Reading"を開発している。評価実験により口唇動作の矯正はネーティブスピーカに伝わりやすい発音を身につけるために有効であることが確認できている。しかし、ネーティブスピーカが発音を認識する際に口唇のどの部分の動きを見ているのかは明らかになっていない。本研究では、アイカメラを用いて、モニタ上に提示した発音時における口唇動作を見る際のネーティブスピーカおよび学習者の眼球運動を測定するシステムを構築する。そして、ネーティブスピーカの視線の動きから、見真似による発音練習において口唇動作のどの部分に着目すべきかを分析する。また、発音練習時における学習者の眼球運動を測定し、"Lip Reading"による学習効果と視線の動きの関係について分析することを目的としている。
平成18年度は、まず、モニタ上に提示するネーティブスピーカによる発音時における顔映像の収集と編集を行い、色々な口唇モデルを提示した場合における/l/-/r/同定実験を実施し、その際の学習者の眼球運動を測定した。その結果、口唇モデルによって学習効果に違いがあること、および学習者の視線の動きによって学習効果に違いがあることが確認できた。
今後は、実験結果をもとに学習効果の高い口唇動作のCGを作成し、その口唇動作CGを提示した場合の眼球運動測定実験を実施していく。