2015 Fiscal Year Research-status Report
音声と映像との相互作用を利用した発話アニメーションの印象制御に関する研究
| Project/Area Number |
15K21024
|
|---|
| Research Institution | Gunma National College of Technology |
|---|
Principal Investigator |
川本 真一 群馬工業高等専門学校, 電子情報工学科, 講師 (70418507)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | リップシンク |
|---|
| Outline of Annual Research Achievements |
音声を聞き取る際，発話映像の付加により，発話内容の理解を助けることが知られており，コミュニケーションにおいて音声と映像の相互作用にも情報が含まれると考えられる．本研究では，発話アニメーションにおける映像と音声がそれぞれ持つ非言語情報の相互作用について実験的に検証することにより，映像と音声との非言語情報の整合性をとる方策を検討することを目指す．
今年度は、既存の音声データベースを対象に，評価対象となる単語音声もしくは文音声を抽出し，予備検討として音声データセットを選定について検討した．選定した音声データに対して，音声認識技術を利用した音素アライメント処理を適用することで，発話アニメーションの基礎データとなる音素境界情報を整備した．雑音の少ない環境下で収録された音声に対しては，音声認識技術による音素アライメント結果を発話アニメーションを生成するためのタイミング情報とすることでも，概ね問題ないことを確認した．なお，一部の発話に対して大きな音素アライメント誤差を示したものについては，必要に応じて目視で確認・修正を行うことで対応する予定である．さらに，発話アニメーションに対して簡易に主観評価実験を行うためのプロトタイプシステムについても検討した．
しかし，新規に準備する顔画像に対する主観年齢付与や，既存音声データベースから抽出した予備検討のための音声データセットへの主観年齢付与は十分ではなく，次年度も継続的にすすめる．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
所属機関変更に伴う環境変化により，申請時に想定していた研究環境を十分に整備できていない点があるため．この影響もあり，新規に準備する顔画像に対する主観年齢付与や，既存音声データベースから抽出した予備検討のための音声データセットへの主観年齢付与は十分ではないため．
|
| Strategy for Future Research Activity |
環境構築を進めると共に，データ整備については次年度も継続的にすすめる．
|
| Causes of Carryover |
研究環境構築の面で申請時に想定した環境とは異なるため，環境の整備に時間を要した結果、データ整備に関する検討が十分に進んでいない．そのため，整備に関連する予算支出を行わなかったことで，次年度使用額として残った．
|
| Expenditure Plan for Carryover Budget |
データ整備に関する検討をすすめた後，研究実施に必要なデータの整備を進めるために，予算を使用する．
|
