2015 Fiscal Year Research-status Report
3次元数理モデルによる口唇動作ＣＧ教材制作システムの開発
| Project/Area Number |
26730179
|
|---|
| Research Institution | Kurume Institute of Technology |
|---|
Principal Investigator |
河野 央 久留米工業大学, 工学部, 教授 (60437746)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | CG / 口唇動作 / アニメーション / 数理モデル |
|---|
| Outline of Annual Research Achievements |
本研究では、母音発音時の口唇動作をコンピュータグラフィックスを応用し3次元数理モデルとして構築する。また、それらを用いて障がい児が発音練習するための3DCGアニメーション教材を自動生成する手法を開発する。
特に、聴覚障がい児が正しく発音するためには、明瞭な母音の発音を正しく習得することが必要であり、自分の顔にそっくりな3DCGアニメーションがお手本の教材となることで、効果的に夏音を学ぶことができる。
先行研究では、正面からの動画を利用し縦横方向の2次元数理モデルとして口唇動作をモデル化した。しかし、実際の聴覚障がい者で学習経験のある方からは、様々な角度から口唇動作を確認できたほうが良く、横や斜めからの視点において口唇動作アニメーションを表示するためには、2次元ではなく3次元数理モデルが必要である。
そこで、今年度は話者モデルを用意し、発音時の口の形状を計測記録するために3次元デジタイザを用いて口唇形状のデータ計測を完了させた。口唇動作の数理モデル化を行うための生データとしておよそ１秒間あたり15フレームの形状データを採取できた。しかし、3次元デジタイザの性能の問題により採取データには話者モデルの歯が欠損した。そこで、データの整理を行いながら、歯のモデルを追加し、計測と同時に記録した映像を確認しながら歯のモデルのアニメーションも設定することで、3DCGアニメーションデータとしての話者モデルを仮想空間に再現した。これらのデータの信頼性を確認するために、第三者による発音の同定を検証した。しかしながら、実際の発音と異なる同定であったため、仮想空間内での話者モデルの再現について再度検討が必要であることが分かった。次年度は、肌の色なども再現し、正同定へ好影響が見られるか検証し、奥行き方向を有した母音発音時における口唇動作の３次元数理モデル化を行う。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
話者モデルの発音時の口の形状を計測記録するための3次元デジタイザにより、データ計測を完了させ、計測データをレンダリングした映像により、第三者により発音の同定を確認したが、実際の発音と第三者判定に乖離が見受けられた。そのため、計測データの信頼性を再度確認する必要がある。また、計測データには計測不可能な箇所の欠損部分があり、肌表面の色などが無いため、それらが発音同定に影響をしている可能性も考えられる。そのため、生の計測データを基に修正を施した映像では、正同定されることも考えられる。これらのことから、当初予定に入っていなかったデータ修正後の第三者判定を必要とし、進捗状況がやや遅れていると見ている。
|
| Strategy for Future Research Activity |
今後は、進捗状況でも触れた計測データを基に修正を施した映像により正同定率について検証し、データの信頼度を確認した後で、口唇形状の特徴点の位置座標の変化を抽出する。特に本研究の特徴である奥行き座標の変化に着目し、発音時の特徴点の移動について３次元数理モデル化を試みる。また、そのモデルを用いて、再度発音アニメーションを再現し、第三者により発音の同定を行い、正同定率を得ることで数理モデルの精度を検証する。
|
| Causes of Carryover |
進捗状況でも言及した通り、話者モデルの発音時の口の形状を計測記録するための3次元デジタイザによりデータ計測を完了させ、そのデータを基に第三者により発音の同定を確認することで計測データの信頼性を確認したが、実際の発音と第三者判定に乖離が見受けられた。そのため、研究計画の工程に見直しを必要とし、学会発表については先送りとしたため、これらの予算が次年度使用額となった。
|
| Expenditure Plan for Carryover Budget |
話者モデルを増やして計測データを増やすために、人件費・謝金を使用する。また、学会発表を行うために旅費を使用する。
|
