2017 Fiscal Year Research-status Report
音声と映像との相互作用を利用した発話アニメーションの印象制御に関する研究
Project/Area Number |
15K21024
|
Research Institution | Gunma National College of Technology |
Principal Investigator |
川本 真一 群馬工業高等専門学校, 電子情報工学科, 講師 (70418507)
|
Project Period (FY) |
2015-04-01 – 2019-03-31
|
Keywords | リップシンク |
Outline of Annual Research Achievements |
音声を聞き取る際、発話映像の付加により、発話内容の理解を助けることが知られており、コミュニケーションにおいて音声と映像の相互作用にも情報が含まれると考えられる。本研究では、発話アニメーションにおける音声と映像がそれぞれ持つ非言語情報の相互作用について実験的に検証することにより、映像と音声との非言語情報の整合性をとる方策を検討することを目指す。 今年度は、音声と顔画像(静止画)を対象として、それぞれの主観評定値を付与すると共に、それらを同時に提示したときの顔と声が同一人物からサンプルされたものと見なした主観評価値の付与を検討した。また、そのときの評価値の傾向について分析を進めた。今後は、この分析結果を基として、音声と発話アニメーションを対象とした素材作成のためのデータ選定を進めると共に、発話アニメーションの評価について検討を進める。 また並行して、音声の主観評価値として補間的な刺激制作を系統的に実現するための補助手段として、音声モーフィングの自動化についても検討した。これは、準備した音声素材に対する主観評価値のバリエーションが確保できないことを想定し、二つの音声を補完した音声刺激を効率的に行うことで、系統的な実験の補助ツールとして活用することを目指すものである。 今後は音声と動画(発話アニメーション)との相互作用について検討を進めるとともに、音声モーフィングを用いた検討についても進める予定である。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
主観評価値の付与と分析については、予想以上に時間を要しており、発話動画像との組み合わせについては検討が進んでいない。 一方で、刺激作成に時間を要している面も大きかったため、中間的な音声刺激の効率的な作成を目指し、音声モーフィングの自動化について検討を進めた。 以上により、派生した技術等については予想以上の進展を見せたものの、当初予定していた計画としてはやや遅れていると判断した。
|
Strategy for Future Research Activity |
データ整備の効率化を進め、残りの時間での追実験と成果発表を進める。
|
Causes of Carryover |
(次年度使用額が生じた理由)所属変更にともなう不足物品等の調達やデータ整備等がやや遅れたため、成果発表や調査に関連する旅費等の支出が少なく、データ整備のための支出も少なくなっている。 (使用計画)次年度は、成果発表のための旅費、その他の支出、およびデータ整理のため消耗品、謝金等の支出に使用を計画している。
|
Research Products
(2 results)