2013 Fiscal Year Research-status Report
発話アニメーションにおけるリップシンクの逐次出力に関する研究
| Project/Area Number |
24700191
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
川本 真一 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (70418507)
|
|---|
| Keywords | リップシンク / アニメーション |
|---|
| Research Abstract |
音声を聞き取る際，発話映像の付加により，発話内容の理解を助けることが知られており，音声コミュニケーションにおいて映像も有益な情報である．本研究の目的は、発話音声の漸次的認識結果出力を利用し、音声発話と並行して処理を行なうことで、リップシンクアニメーション（音声に同期した唇の動き）の逐次出力を実現するための基盤技術の研究開発である。
今年度は、漸次的な視覚素（音素と対応づけられた基本口形状の分類）の認識に基づくリップシンクアニメーションを実現に向けたプロトタイプシステムの検討をすすめた。プロトタイプシステムでは、出力に遅延が許容される利用環境を想定し、入力音声を一定時間遅延させて出力した音声と同期するリップシンクアニメーション出力を実現する。視覚素認識結果の漸次的な出力から、視覚素ごとに設計されたフィルタを利用して、アニメーション対象となる口形状の混合重み系列を出力するプロトタイプシステムを設計し、その実装を進めた。プロトタイプシステムにおける漸次的な視覚素認識性能がリップシンクアニメーションにおける口の動きに与える影響について検討した。音声認識器に対して正解となる発話文章を与えた上で、音素アライメント（音素境界推定）処理を行うことで得られた結果を基に正解となる視覚素列とその境界を設定し、漸次的視覚素認識結果と比較することで、入力音声に対して許容する分析遅延時間と視覚素認識率の関係やリップシンクアニメーションにおける口の動きの相関という観点から、入力音声の遅延量が最終的なリップシンクアニメーションの漸次的出力結果に対する影響について調査した。
また、昨年度までに収録した発話音声データおよび発話時の映像データを基に、プロトタイプシステムの動作を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
現状までに本研究課題の主題である入力音声に対するリップシンクアニメーションを漸次的に出力するためのプロトタイプシステムの構築を行い、予備的な評価について検討した。入力音声に対して許容する分析遅延時間と視覚素認識率の関係やリップシンクアニメーションにおける口の動きの相関という観点から、入力音声の遅延量が最終的なリップシンクアニメーションの漸次的出力結果に対する影響について調査し、提案する方式の有効性について検証した。
また、昨年度までに収録した発話音声データおよび発話時の映像データについて整備を進め、その一部はプロトタイプシステムの動作確認に活用した。
しかし、評価基盤の整備については、評価に使用するキャラクタデータやアニメーションの表示系など最終的な評価に向けた環境が確定できておらず、現在も検討を継続している。このため、同環境下でのキャラクタデータを用いた主観評価実験についても検討できていない。
以上より、評価基盤整備という観点においてやや遅れていると判断した。
|
| Strategy for Future Research Activity |
平成２６年度は、平成２５年度までの成果を基に、評価のための環境整備をおこなった後、最終的な評価およびその結果の検討を進めたい。
評価のための環境整備については、平成２５年度までに収録したデータに関する整備を進めるとともに、評価用のリップシンクアニメーションの提示環境の構築を進めたい。特に、評価実験をおこなう上で安定してリップシンクアニメーションを実験協力者に提示できる環境は重要であり、プロトタイプシステムに関するパラメータ調整や実験条件の精査など試行錯誤が必要になることが予想される。また、評価実験結果の分析を進める上で、必要に応じてデータの収録や整備を追加実施する予定である。
評価実験については、平成２５年度までに構築したプロトタイプシステムが出力するリップシンクアニメーションに対し、音声出力の遅延量を変化させたときの同期に関する主観評価実験を中心に検討を進める予定である。
研究成果についてはある程度まとまった時点で、国際会議や国内大会への発表を検討していきたい。
|
| Expenditure Plans for the Next FY Research Funding |
評価のための環境整備について引き続き進めているが、最終的な評価仕様の確定に至っていないため、これらに関する平成２５年度の予算支出を平成２６年度に繰り越すこととした。特に、評価用のキャラクタデータ整備に関して、想定していた予算での折り合いがつかず、仕様の調整を進めている。また並行して代替案の検討を進めている。
次年度は最終的な評価に向けた環境整備を行うと共に、構築したプロトタイプシステムの評価と改善を進める。このため、リップシンクアニメーション提示やデータ整理用のストレージ等を含むPC関連機材およびソフトウェア、キャラクタデータ試作やデータ整備、実験協力者への謝金等に予算を充てる。
また、研究成果発表や関連する情報収集を並行して進める。このため、国内外の出張費および会議参加費等に予算を充てる。
|
Research Products
(2 results)
