発話アニメーションにおけるリップシンクの逐次出力に関する研究

• 研究課題/領域番号: 24700191
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 群馬工業高等専門学校 (2015); 北陸先端科学技術大学院大学 (2012-2014)
• 研究代表者: 川本 真一 群馬工業高等専門学校, 電子情報工学科, 講師 (70418507)
• 研究期間 (年度): 2012-04-01 – 2016-03-31
• 研究課題ステータス: 完了 (2015年度)
• 配分額: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2014年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2013年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2012年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
• キーワード: リップシンク / アニメーション

研究成果の概要

出力に遅延が許容される利用環境を想定し、入力音声を一定時間遅延させて出力した音声と同期するアニメーション出力を対象に、音声入力と並行して、入力音声に対する視覚素認識結果の漸次的な出力から、視覚素ごとに設計されたフィルタを利用して口形状の混合重み系列を出力し，ブレンドシェープ法（形状の線形和モデル）によりリップシンクアニメーション（音声と同期した唇の動き）の逐次出力を実現した。

研究成果

• [雑誌論文] VoiceDub: 複数タイミング情報を伴う映像エンターテイメント向け音声同期収録支援システム (2015)
  • 著者名/発表者名: 川本真一, 森島繁生, 中村哲
  • 雑誌名: 情報処理学会論文誌 巻: 56(4) ページ: 1142-1151
  • 査読あり / 謝辞記載あり
• [雑誌論文] 視覚素依存フィルタによる漸次的音声駆動発話アニメーション (2014)
  • 著者名/発表者名: 川本真一
  • 雑誌名: 電子情報通信学会論文誌D 巻: J97-D ページ: 1416-1425
  • 査読あり / 謝辞記載あり
• [学会発表] Speech-driven realtime lip-synch animation with viseme-dependent filters (2013)
  • 著者名/発表者名: Shin'ichi Kawamoto
  • 学会等名: ACM SIGGRAPH 2013 Poster
  • 発表場所: Anaheim, California, USA
• [学会発表] 雑音重畳音声の了解度における３次元映像提示の影響 (2013)
  • 著者名/発表者名: 川本真一
  • 学会等名: 電子情報通信学会２０１３年総合大会
  • 発表場所: 岐阜
• [産業財産権] 発話アニメーション生成装置、方法、及びプログラム (2014)
  • 発明者名: 川本真一
  • 権利者名: 国立大学法人北陸先端科学技術大学院大学
  • 産業財産権種類: 特許
  • 産業財産権番号: 2014-147933
  • 出願年月日: 2014-07-18
• [産業財産権] 発話アニメーション生成装置、方法、及びプログラム (2013)
  • 発明者名: 川本真一
  • 権利者名: 北陸先端科学技術大学院大学
  • 産業財産権種類: 特許
  • 産業財産権番号: 2013-149579
  • 出願年月日: 2013-07-18