2014 Fiscal Year Research-status Report
発話アニメーションにおけるリップシンクの逐次出力に関する研究
| Project/Area Number |
24700191
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
川本 真一 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (70418507)
|
|---|
| Project Period (FY) |
2012-04-01 – 2016-03-31
|
| Keywords | リップシンク / アニメーション |
|---|
| Outline of Annual Research Achievements |
音声を聞き取る際，発話映像の付加により，発話内容の理解を助けることが知られており，音声コミュニケーションにおいて映像も有益な情報である．本研究の目的は、発話音声の漸次的認識結果出力を利用し、音声発話と並行して処理を行なうことで、リップシンクアニメーション（音声に同期した唇の動き）の逐次出力を実現するための基盤技術の研究開発である。
今年度は、漸次的な視覚素（音素と対応づけられた基本口形状の分類）の認識に基づくリップシンクアニメーションの実現に向けたプロトタイプシステムの拡張をすすめた。プロトタイプシステムでは、出力に遅延が許容される利用環境を想定し、入力音声を一定時間遅延させて出力した音声と同期するリップシンクアニメーション出力を実現する。視覚素認識結果の漸次的な出力から、先行視覚素と当該視覚素の組によって定義される視覚素対ごとに設計されたフィルタを利用して、アニメーション対象となる口形状の混合重み系列を出力するプロトタイプシステムを設計と実装を進め、リップシンクアニメーションの逐次出力ができていることを確認した。前年度までの視覚素ごとのフィルタと比べ、今年度実現した視覚素対ごとのフィルタはより細かなカスタマイズが可能となった。
またプロトタイプシステムの動作に適したパラメータ設定を行うための主観評価実験を行った。実験協力者にプロトタイプシステムが出力した発話アニメーションを提示したときに同期がとれていると感じる音声遅延量について実験的に検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
現状までに本研究課題の主題である入力音声に対するリップシンクアニメーションを漸次的に出力するためのプロトタイプシステムの構築を行い、予備的な評価について検討した。入力音声に対して許容する分析遅延時間と視覚素認識率の関係やリップシンクアニメーションにおける口の動きの相関という観点から、入力音声の遅延量が最終的なリップシンクアニメーションの漸次的出力結果に対する影響について調査し、提案する方式の有効性について検証した。
さらに平成２６年度は、平成２５年度までに検討した視覚素ごとに設計されたフィルタに関する手法の拡張を進めた。その結果、新たな手法拡張の効果を検証する実験が必要となった。
以上より、やや遅れていると判断した。
|
| Strategy for Future Research Activity |
平成２７年度は、平成２６年度までの成果を基に、視覚素ごとに設計されたフィルタに関する手法およびその拡張手法に関する追実験とデータの分析整理、および成果発表を進めたい。
|
| Causes of Carryover |
平成26年度に、平成25年度までに検討した視覚素ごとに設計されたフィルタに関する手法のさらなる拡張およびその拡張を含めたシステム構築を進めた結果、新たに手法拡張の効果を検証する実験が必要となった。そのため計画を変更し、比較実験を行うこととした。
|
| Expenditure Plan for Carryover Budget |
平成26年度までに行った視覚素ごとに設計されたフィルタに関する手法の拡張に関して、拡張前の手法との比較を含む実験を行い、そのデータを整理するために予算を使用する。
また、研究成果に関する発表および情報交換のために予算を使用する。
|
Research Products
(2 results)
