| 研究課題/領域番号 |
24700191
|
|---|
| 研究機関 | 北陸先端科学技術大学院大学 |
|---|
研究代表者 |
川本 真一 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (70418507)
|
|---|
| 研究期間 (年度) |
2012-04-01 – 2016-03-31
|
| キーワード | リップシンク / アニメーション |
|---|
| 研究実績の概要 |
音声を聞き取る際，発話映像の付加により，発話内容の理解を助けることが知られており，音声コミュニケーションにおいて映像も有益な情報である．本研究の目的は、発話音声の漸次的認識結果出力を利用し、音声発話と並行して処理を行なうことで、リップシンクアニメーション（音声に同期した唇の動き）の逐次出力を実現するための基盤技術の研究開発である。
今年度は、漸次的な視覚素（音素と対応づけられた基本口形状の分類）の認識に基づくリップシンクアニメーションの実現に向けたプロトタイプシステムの拡張をすすめた。プロトタイプシステムでは、出力に遅延が許容される利用環境を想定し、入力音声を一定時間遅延させて出力した音声と同期するリップシンクアニメーション出力を実現する。視覚素認識結果の漸次的な出力から、先行視覚素と当該視覚素の組によって定義される視覚素対ごとに設計されたフィルタを利用して、アニメーション対象となる口形状の混合重み系列を出力するプロトタイプシステムを設計と実装を進め、リップシンクアニメーションの逐次出力ができていることを確認した。前年度までの視覚素ごとのフィルタと比べ、今年度実現した視覚素対ごとのフィルタはより細かなカスタマイズが可能となった。
またプロトタイプシステムの動作に適したパラメータ設定を行うための主観評価実験を行った。実験協力者にプロトタイプシステムが出力した発話アニメーションを提示したときに同期がとれていると感じる音声遅延量について実験的に検討した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
現状までに本研究課題の主題である入力音声に対するリップシンクアニメーションを漸次的に出力するためのプロトタイプシステムの構築を行い、予備的な評価について検討した。入力音声に対して許容する分析遅延時間と視覚素認識率の関係やリップシンクアニメーションにおける口の動きの相関という観点から、入力音声の遅延量が最終的なリップシンクアニメーションの漸次的出力結果に対する影響について調査し、提案する方式の有効性について検証した。
さらに平成２６年度は、平成２５年度までに検討した視覚素ごとに設計されたフィルタに関する手法の拡張を進めた。その結果、新たな手法拡張の効果を検証する実験が必要となった。
以上より、やや遅れていると判断した。
|
| 今後の研究の推進方策 |
平成２７年度は、平成２６年度までの成果を基に、視覚素ごとに設計されたフィルタに関する手法およびその拡張手法に関する追実験とデータの分析整理、および成果発表を進めたい。
|
| 次年度使用額が生じた理由 |
平成26年度に、平成25年度までに検討した視覚素ごとに設計されたフィルタに関する手法のさらなる拡張およびその拡張を含めたシステム構築を進めた結果、新たに手法拡張の効果を検証する実験が必要となった。そのため計画を変更し、比較実験を行うこととした。
|
| 次年度使用額の使用計画 |
平成26年度までに行った視覚素ごとに設計されたフィルタに関する手法の拡張に関して、拡張前の手法との比較を含む実験を行い、そのデータを整理するために予算を使用する。
また、研究成果に関する発表および情報交換のために予算を使用する。
|
