学習者の顔形状に合わせた発音練習のための口唇動作ＣＧアニメーション自動生成

2011 Fiscal Year Research-status Report

• Project/Area Number: 23700260
• Research Institution: Kurume Institute of Technology
• Principal Investigator: 河野 央 久留米工業大学, 工学部, 准教授 (60437746)
• Project Period (FY): 2011-04-28 – 2014-03-31
• Keywords: コンピュータグラフィックス / モデリング / アニメーション

Research Abstract

本研究では、コンピュータグラフィックス(CG)を応用し、個人対応型発音練習システムのための口唇動作CGアニメーション教材を自動作成する方法を開発する。CGアニメーション教材を自動作成するためには、個人の顔形状を自動作成し（自動モデリング）、それを自動アニメーションさせることにより、実現する。そのための第一段階として、現在手作業で行われているモデリングにおいて、教材制作者の負担を軽減しながら、アニメーションに適した顔形状を生成する必要があることが課題として挙げられた。　そこで、平成23年度は、従来の顔形状の作成方法の利点・問題点を分析し、顔形状を「シュリンク・ラップモデリング」により自動的に生成する方法を検討した。 はじめに、筆者の過去の研究（顔の特徴を活かした顔形状の自動生成）を基に、アニメーションに適した構造を持つ「標準的な顔形状モデル」を作成した。このような標準顔形状モデルを3次元形状として定義することで、様々な個人の顔形状の表現に対応できることが可能となった。 次に、教材制作者の負担を軽減しながらモデリングを行う方法として、既存の商用ソフトウェアと非接触型3次元デジタイザ（H23年度導入）を組み合わせてモデリングする方法を検討した。この方法では、デジタイザで個人をスキャンし、得られたスキャンデータに、標準顔形状モデルを「シュリンク・ラップ」方式で自動的に収縮・密着させ、個人の顔形状を得ることが可能となった。収縮・密着の手法としては、標準顔形状モデルとデジタイザデータの頂点間において、最短距離の頂点同士を合致させるというシンプルな原理で実現した。　この方法により、従来の手作業によるモデリングと比較して、大幅に時間を短くし、教材制作者の負担を軽減することが可能となった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

平成23年度は、研究着手年度ということもあり、交付金の交付開始時期や機器の導入に当初の計画よりずれがあった。そのため、取り組み時期が遅れてしまっていたが、その間、事前のシミュレーションを通して、問題点解決のためのフローを改善する方法を検討するなど行った。　この検討を通して、当初の目的達成のためのアプローチに新たな方法を取り入れ、研究の進捗過程を1.サンプルデータ採取、2.モデリング、3.口唇動作解析、4.アニメーションという項目に再分類した。現在は2.に入っている。次年度は3.に取り掛かる予定である。そのため、現時点の目的達成までの過程としては、着手開始時期の遅延も吸収できていると考えており、おおむね順調に進展していると評価した。

Strategy for Future Research Activity

現在、研究の進捗過程は、1.サンプルデータ採取、2.モデリング、3.口唇動作解析、4.アニメーションという過程を想定している。平成23年度は2．まで取りかかっており、平成24年度の推進は3.の口唇動作解析に取り掛かることになる。 方策としては、(1)正同定率100%の口唇動作（実写）を画像解析する、(2)画像解析の結果に基づいた口唇動作を数値モデル化する、という2点を中心に推進する。　(1)は、正しく発音していると同定された話者モデルの動画を画像解析対象とする。母音を中心（あ、い、う、え、お）に画像解析を行い、口唇動作時に顔のどの部位をどのように動かすのかを画像トラッキングにより抽出する。トラッキング箇所については、観察を中心に決定し、各母音ごとのトラッキング基準点を定義、その後、それらの基準点の変化量を画像処理ソフトを用いて計測する。　(2)は、画像解析の結果、顔の特徴点の動きをグラフなどの数値的な変化として抽出できる。ただし、これらの数値は絶対的な数量であり、個々の学習者の筋肉の使い方や顔の形状によって異なる。したがって、複数の話者モデルの数値変化を相対的に捉える必要がある。相対量にするために、ある顔の部位を各母音ごとの基準とする。例えば、唇の幅（口角間の距離）や厚みなどが挙げられる。これらの基準が変化前後でどのように変化したか、その量をベクターで捉え、平均化することで、各母音における口唇動作の数値モデルを定義する。　これにより、3DCGの顔形状の変形アニメーションの原理やルールが定まり、各母音の数値モデルのもとで3DCGの変形を行うことで、最終的には4.の自動アニメーションが可能となる。

Expenditure Plans for the Next FY Research Funding

用途としては、１．デジタイザに代わる機器の導入、２．学会発表に関わる旅費を計画している。　１については、現状のデジタイザは高額で、持ち運びも可能であるが、第3者の操作に若干慣れが必要である点が問題である。本研究の成果を利用する最終的なユーザは、学校教員を中心とした教材開発者を想定しているため、より気軽に用意できるデジタイザが求められるのではないかと予測した。そのため、深度センサーを用いた顔形状の取得を試行したい。また、その装置の使用上の利便性を高めるため、比較的高速なグラフィックアクセラレーションに対応したノート型コンピュータの導入も計画している。　2は、研究成果を国内学会で発表するための旅費である。現時点では、日本デザイン学会第59回春季研究発表大会を予定している。