Development of CG Teaching Material for Lip Motion by Three-Dimensional Mathematical Model

2017 Fiscal Year Annual Research Report

• Project/Area Number: 26730179
• Research Institution: Kurume Institute of Technology
• Principal Investigator: 河野 央 久留米工業大学, 工学部, 教授 (60437746)
• Project Period (FY): 2014-04-01 – 2018-03-31
• Keywords: 口唇動作 / CGアニメーション / 聴覚障害 / 数理モデル

Outline of Annual Research Achievements

本研究は、聴覚障がい児の発音習得のための発話学習教材アニメーションの自動生成を目的としており、これを実現するために母音発音時の口唇動作を3次元数理モデルとして定義し、学習者の顔に応じた3DCG発話アニメーション教材を自動生成する方法を開発した。
聴覚障がい児などが正しい発音を修得するためには、明瞭な母音の発音を正しく習得することが必要であり、教師の口唇動作を見真似練習により真似て習得することが多い。先行研究では、学習者の自分の顔が3次元CGとなっているモデルをお手本教材とし、ICTを利用しながら効果的に発音を学ぶシステムを開発したが、このシステムの学習教材は3DCGソフトウェアを用いた手入力での作成であり、効率的に作成することが難しいという問題があった。また、日本語の母音の発音時において、どのような口唇形状を形成すればよいのかについては、慣習的には知られているが、数理的に定義されたものはない。しかし、3DCGによる教材を手続き的に作成するためには、数理的なモデルが必要である。そこで、顔形状の個人差を許容しながら、口唇動作を数理モデルとして定義することで、3DCGによる自動生成を行った。
前研究では、動画を利用して口唇動作の縦横方向（2次元座標系）を2次元数理モデルとして定義したが、奥行き方向の動作については未着手であった。そのため、本研究では、3次元スキャナを用いて口唇動作を形状として採取した。3次元スキャナで計測したデータは毎秒15フレームのポリゴンモデルとして計測されており、3次元空間内でのより正確な計測が可能となった。このデータを用い、奥行き方向の変化をトラッキングし位置データを取得した。この計測データから奥行き方向の数理モデルの定義を拡張し、それらを用いて3DCGアニメーションを自動生成し、発音の同定の検証を行った。その結果、正同定率が向上する結果が得られた。