2013 Fiscal Year Research-status Report
学習者の顔形状に合わせた発音練習のための口唇動作ＣＧアニメーション自動生成
| Project/Area Number |
23700260
|
|---|
| Research Institution | Kurume Institute of Technology |
|---|
Principal Investigator |
河野 央 久留米工業大学, 工学部, 准教授 (60437746)
|
|---|
| Keywords | コンピュータグラフィックス / 口唇動作 / アニメーション / 発音 |
|---|
| Research Abstract |
本研究は、コンピュータグラフィックス(CG)を応用し、発音練習のための口唇動作の学習支援システムにおける、口唇動作CGアニメーション教材の自動作成を目指している。このCGアニメーション教材を自動作成するためには、学習者の顔形状のモデリングし、次に、その顔形状をアニメーションするという２段階の過程が必要である。
平成23年度は、モデリングの自動化「シュリンク・ラップモデリング」を開発した。平成24年度は、次のステップである口唇動作アニメーションの自動作成手法を開発した。これは、複数のお手本モデルの母音の口唇動作を計測し、それらの共通性を抽出した。さらに口唇形状の縦横方向の変化を2次元の数理モデルとして定義した。
以上の2点の取り組みにより、従来は教材制作日数（制作者の技量によるもので一概には言えない）は週単位で要していたが、特に母音のアニメーション作成については、2次元数理モデルを基にした自動化処理により数秒で作成できるようになった。
平成25年度は、さらに口唇動作の時系列変化に着目した。平成24年度に可能になった自動アニメーションは線形的な変化を行う口唇動作であった。しかし、学習用教材としては、口唇動作のタイミングに注目することがより効果的であると考え、単純な線形的な変化タイミングではなく、どのような時系列的な変化が口唇動作時に起きているのかについて、計測およびモデル化を試みた。その結果、口唇動作は線形的な変化ではなく、段階的な変化をしている新たな知見が得られ、時系列的な変化の仮定モデルを定義することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の申請時は、初年度：平均的な顔形状と口唇動作アニメーションの作成、次年度：平均的な口唇動作の検証および個人の顔形状への適用、最終年度：学習者ごとの口唇動作教材を自動化し、その効果の検証、という計画であった。
平成24年度までは、計画通りに、モデリングおよびアニメーションの自動化を行った。しかし、研究開発結果による自動作成された口唇動作のCGアニメーションにおいて、研究関係者より、アニメーションの時系列的なタイミングも学習用教材としては重要であるという指摘があった。
そのため、平成25年度は、自動作成された教材の効果を検証する予定であったが、さらに教材としての表現力を高めるために、口唇動作の時系列的なタイミングについても、モデル化を行い、アニメーションの生成に取り入れることにした。その結果、アニメーションの時系列的なタイミングについても、概ね定義することができた。しかしながら、教材の効果や正同定の検証については取りかかることができなかった。
また、ここまでの研究成果の発表の場や他研究者からの助言により、様々な角度から閲覧できる教材開発についても求められており、本研究については、平成26年度までの補助事業の期間延長を申請し、これからこれらの点について検証をすることになっている。
以上のことから、おおむね順調に進展していると評価する。
|
| Strategy for Future Research Activity |
本研究の最終年度となるので、研究の総括に入る。研究の進捗状況としてはおおむね順調であるので、最終年度の実施内容としては、自動作成された教材用の口唇動作CGアニメーションの評価を行い、正同定率の検証を行う。また、検証には、導入予定の立体視映像システムを利用し、口唇動作アニメーションの表示に新たな技術を取り入れる。
検証の結果、正同定率に問題がある場合は、自動作成の手法や口唇動作の数理モデルの見直しを行い、再度検証を行う。
|
| Expenditure Plans for the Next FY Research Funding |
平成25年度の学会発表において、本研究の想定するユーザでもある聴覚障がい者の方より、研究内容の評価と共に、口唇動作教材を様々な角度で閲覧できることへの対応を求められた。そのため、ユーザの学習のための環境を再検討し、立体視表示を導入することで、更に効果的な口唇動作教材アニメーションとすることを新たな目標とした。その実現手法と効果の検証についての検討を行っていたため、未使用額が発生した。
はじめに、3DCGで作成された口唇動作アニメーションを立体視表示可能なシステムを構築する。これは、立体視表示に対応したモニタ、立体視用メガネ、グラフィックボードを新たに用意する必要がある。次に、実際にユーザに研究成果の口唇動作CGアニメーションを、そのシステムを用いて正同定率の検証を行い、教材の効果を確認する。そして、これらの結果を、学会やシンポジウムにて発表する。
|
