2014 Fiscal Year Research-status Report
3次元数理モデルによる口唇動作ＣＧ教材制作システムの開発
| Project/Area Number |
26730179
|
|---|
| Research Institution | Kurume Institute of Technology |
|---|
Principal Investigator |
河野 央 久留米工業大学, 工学部, 教授 (60437746)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | コンピュータグラフィックス / 口唇動作 / 数理モデル / アニメーション |
|---|
| Outline of Annual Research Achievements |
本研究では、コンピュータグラフィックスを応用し、母音発音時の口唇動作の3次元数理モデルを構築し、発音練習のための3DCGアニメーション教材を自動作成するシステムを開発する。聴覚障がい児が正しく音声を発音するためには、母音を正しく習得することが必要であり、お手本となる先生の口の動きを真似て口唇動作を強制することにより発音を改善する。このような背景から、個々の障がい児ごとに3D-CGによるお手本教材を提供することで、より効果的に発音を学ぶことができる。
従来の口唇動作の解析では、正面からの口唇動作を重視し、縦横方向の2次元数理モデルとして口唇動作をモデル化した。しかし、口唇動作は奥行き方向も存在する。2次元の数理モデルは前面からの口の動きだけ学習可能であり、実際の聴覚障がい者の方からは様々な角度から口唇動作を確認できた方がよいとの意見があった。横や斜め視点からの口唇動作をより正確に表現するためには、奥行き方向の口唇動作が必要である。そこで、奥行き方向もモデル化対象とし、口唇動作を3次元数理モデル化することで、3D-CGのお手本教材の利点を活かすことができる。
そのため、今年度は口唇動作を時系列的に記録するための3Dスキャナの導入を行った。被写体の動きを1フレームあたり15回計測できるため、従来のビデオや静止画といったものと異なり、時系列的な変化を持つ3次元口唇形状データとして記録することが可能である。そのため、2D画像をもとにした計測よりも、より精度が高く奥行き方向の計測も可能となった。しかしながら、この3Dスキャナを用いて計測するためには、被写体との距離、被写体表面の素材の考慮、また話者モデルに負担なく短時間計測する方法等のノウハウが必要である。そこで、今年度は顔模型や実際の人物を対象とし、スキャンを適切に行うためのノウハウ作りおよびシステム稼働の実験を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
前年度までの関連研究において、口唇動作の判別には口唇形状の動きだけではなく、歯の見え方も要因になっていることが検証の結果分かった。そのため、当初は顔表面の形状を取得することが目的であったが、口腔内の形状も一部取得する必要があり、そのスキャニング方法についての試行錯誤を行っていた。そのため、今年度の計画として挙げていた正同定100%の話者モデルを選定し、その口唇動作を採取するところまで至らず、やや遅れていると判断する。
|
| Strategy for Future Research Activity |
正同定100%として判断された正しい口唇動作を行える被験者を話者モデルとして選定し、母音発音時の口唇動作を３次元スキャナーを用いて多面的に形状として記録する。次に、口唇動作時の形状を解析し、奥行き方向の変化を計測する。また、これらの計測結果から、奥行き方向の口唇の変化を時系列的なタイミングと共に数理的法則で表現できるように、その特徴を抽出、話者もでるにおける共通性を数学的なモデルとして表現する。個人の顔の部位を基準とすることで個人差をなくした普遍的かつ、奥行き方向の口唇動作もカバーした3次元数理モデルを作成する。
|
| Causes of Carryover |
研究計画の進捗状況の変化により、今年度発生する予定であった旅費および謝金の支出がなかったため。
|
| Expenditure Plan for Carryover Budget |
学会発表のための旅費および、話者モデルへの謝金に使用する。
|
Research Products
(2 results)
