音声と口唇動画像を併用した英語発音練習システムにおける発音学習時の眼球運動の測定

2005 Fiscal Year Annual Research Report

• Project/Area Number: 17500669
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Kurume Institute of Technology
• Principal Investigator: 小田 まり子 久留米工業大学, 工学部, 講師 (20269046)
• Keywords: 眼球運動 / 英語発音 / 口唇動画像 / Lip Reading

Research Abstract

見真似による発音練習システム"Lip Reading"を開発している。評価実験により口唇動作の矯正はネーティブスピーカに伝わりやすい発音を身につけるために有効であることが確認できている。しかし、ネーティブスピーカが発音を認識する際に口唇のどの部分の動きを見ているのかは明らかになっていない。本研究では、アイカメラを用いて、モニタ上に提示した発音時における口唇動作を見る際のネーティブスピーカおよび学習者の眼球運動を測定するシステムを構築する。そして、ネーティブスピーカの視線の動きから、見真似による発音練習において口唇動作のどの部分に着目すべきかを分析する。また、発音練習時における学習者の眼球運動を測定し、"Lip Reading"による学習効果と視線の動きの関係について分析することを目的としている。
本年度は、眼球運動測定システムを構築し、モニタ上に提示するネーティブスピーカによる発音時における顔映像の収集と編集を行った。また、眼球運動測定システムを用いた日本人学習者の眼球運動測定実験を実施した。実験の結果、日本人学習者がモデルスピーカの口唇動作を見て発音練習する際、見るべき口唇の位置を指示しなければ、口唇の見る位置は学習者ごとに異なっており、それが学習効果にも影響を与えていることが確認できた。また、今回は実験時に、口唇部分だけでなく発音時における顔全体の映像を提示したが、顔を見るように指示しなければ、目のような顔以外の部分を見続ける学生もいることが確認できた。したがって、"Lip Reading"で発音練習をする場合には、口唇のどの部分を見るべきかをインストラクションとして与える必要があると言える。