2012 Fiscal Year Research-status Report
発話アニメーションにおけるリップシンクの逐次出力に関する研究
| Project/Area Number |
24700191
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
川本 真一 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (70418507)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | リップシンク / アニメーション |
|---|
| Research Abstract |
音声を聞き取る際，発話映像の付加により，発話内容の理解を助けることが知られており，音声コミュニケーションにおいて映像も有益な情報である．本研究の目的は、発話音声の漸次的認識結果出力を利用し、音声発話と並行して処理を行なうことで、リップシンクアニメーション（音声に同期した唇の動き）の逐次出力を実現するための基盤技術の開発である。
今年度は、漸次的な音声認識に基づくリップシンクアニメーションを実現に向けた環境整備と、予備的な検討を実施した。漸次的な音声認識において、音素境界の認識結果出力に一定の遅延を仮定し、分析データを先読みして得た結果を利用し、時間をさかのぼって認識結果を漸次出力する機能について検討し、プロトタイプを作成した。この機能の実現により、音声入力に対し、一定周期で音素を対応する視覚素を出力することが可能となる。また、この入力モジュールから漸次的に出力される視覚素列を用いて、基本口形状の混合重みを出力する機能を検討し、音声分析時の遅延にあわせて音声出力も遅延させる予備検討を行なった。この結果、本研究で想定するシステムにおいて、音声出力の遅延を調整することで、入力音声とのリップシンクアニメーションを実現できる見込みを得た。
さらに、本研究遂行のための基盤データ整備として、発話音声データの収録を実施した。研究対象となるリップシンクアニメーションでは音声と口形状の同期を対象となるため、リップシンクアニメーションの参考データとして発話時の映像も収録した。収録した音声に対して雑音を重畳した音声の聞き取りにおいて、同じく収録した映像を同期提示することで音声了解度が改善することも確認した。収録データの詳細な分析を含む基盤データ整備については、次年度も継続して実施する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
今年度の本研究テーマ採択後に、研究基盤として検討していたソフトウェアの価格改定等に伴い、採択前に調査を進めていた研究基盤となる環境（ハードウェア、ソフトウェア、ＣＧキャラクタデータ整備）の見直しが必要となった。このため、研究遂行のための代替となる環境を整えるなど、軌道修正を必要としたため、環境の整備や構築という点で多少遅れが生じている。
|
| Strategy for Future Research Activity |
今後も引き続き、基盤技術の改善と、評価のための環境整備を進める。また、最終的な評価に向けた予備的な検討を行なうことで、評価の方針をまとめていく。研究成果についてはある程度まとまった時点で、戦略的に発表を行なっていく。
|
| Expenditure Plans for the Next FY Research Funding |
今年度の本研究テーマ採択後に、研究基盤として検討していたソフトウェアの価格改定等に伴い、採択前に調査を進めていた研究基盤となる環境（ハードウェア、ソフトウェア、ＣＧキャラクタデータ整備）の見直しが必要となった。このため、これらに関する今年度の予算支出を次年度に繰り越すと共に、今年度は代替となる研究基盤環境の検討を行なった。次年度に音声データの整備を引き続き進めると共に、今年度の成果を反映する研究基盤の構築を随時進めていく。また、関連学会での情報収集を積極的に行なうと共に、研究成果発表を戦略的に進める。
|
Research Products
(1 results)
