2016 Fiscal Year Research-status Report
3次元数理モデルによる口唇動作ＣＧ教材制作システムの開発
| Project/Area Number |
26730179
|
|---|
| Research Institution | Kurume Institute of Technology |
|---|
Principal Investigator |
河野 央 久留米工業大学, 工学部, 教授 (60437746)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | CG / 口唇動作 / アニメーション |
|---|
| Outline of Annual Research Achievements |
本研究は、母音発音時の口唇動作を3次元数理モデルとして表現し、発話学習教材のための3DCGアニメーションを自動生成する方法を開発する。
特に聴覚障がい児が正しい発音を習得するためには、明瞭な母音の発音を正しく習得することが必要であり、自分の顔が3DCGとなったモデルがお手本アニメーションとなることで、ICTを利用しながら効果的に発音を学ぶことが期待できる。
しかしながら、このようなお手本教材は効率的に作成することは難しい。また、日本語の母音の発音時において、どのような形状に口唇をすれば良いのかは慣習的に知られているが、口唇動作を数理的に定義したものはない。さらに、顔の形状は個人差があるため、数理的定義は難しい。そこで、顔形状の個人差を許容しながら、数理的にどのように動かせばよいのか数理モデルとして定義することで、3DCGでの再現が可能となる。
先行研究では、動画を利用して口唇動作の縦横方向の2次元数理モデルとしてモデル化したが奥行き方向については未着手であった。当該年度は、2名の話者モデルの発話を3次元スキャナで計測したデータを基に、形状変化の追跡のための準備を行った。
3次元スキャナで計測したデータは15fpsのポリゴンモデルとして計測されており、3次元空間内で計測対象箇所の正確な座標値を時系列的に取得できるが、欠損箇所が多く、特に口唇内部はスキャニング不可能であったため、データの補正が必要である。そのため当該年度は、計測データを基に、口唇部分のポリゴンデータをNURBS曲面で再構築し、時系列的な形状変化を追跡するための補正作業を行った。これにより、各計測点の奥行き方向の座標値の変化を解析することが可能となった。解析については、次年度の研究実施目標とした。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
研究計画では、話者モデルの3次元スキャニングによる計測データを基に、口唇動作の数理化を行う予定であった。しかし、話者モデルの計測データは欠損箇所が多く、特に口唇内部はスキャニング不可能であったため、データの形状補正が必要であった。そのため当該年度は、計測データの口唇部分のポリゴンデータをNURBS曲面で再構築し、時系列的な形状変化を追跡するための補正作業を行う必要があり、当初計画に遅れが生じた。
|
| Strategy for Future Research Activity |
話者モデルについて、時系列的な形状変化を追跡するための補正作業を行った。これにより、各計測点の奥行き方向の座標値の変化を解析することが可能となった。
今後は、補正データを基に解剖学的な計測点の座標値の時系列変化を解析し、動作の特徴や形状との関連性を抽出し、各計測点の奥行き方向の変化の数理モデル化を行う。
また、先行研究の2次元数理モデルと統合し、3次元の口唇動作の数理モデルとしての構築を試みる。
|
| Causes of Carryover |
話者モデルの計測データに基づき、数理モデル化を行う予定であったが、計測データに欠損部分があり、これらのデータを補正する作業が発生した。そのため、当初の研究計画に遅れが生じ、研究方法の変更や追加作業が必要となり、予算執行を中断した。
|
| Expenditure Plan for Carryover Budget |
話者モデルの計測が2名分であるため、計測対象者を増やす必要がある。研究室外でのスキャニングを行うことが予想されるが、3次元スキャナおよび高速リアルタイムスキャニングに対応したコンピュータが必要である。そのため、モバイル可能なグラフィックス処理強化型のノート型コンピュータを購入する。
|
