Study of the impression change for speaking animation using interaction between voice and related animation

• Project/Area Number: 15K21024
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Perceptual information processing; Entertainment and game informatics 1
• Research Institution: Gunma National College of Technology
• Principal Investigator: Kawamoto Shinichi 群馬工業高等専門学校, 電子情報工学科, 准教授 (70418507)
• Project Period (FY): 2015-04-01 – 2019-03-31
• Project Status: Completed (Fiscal Year 2018)
• Budget Amount: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2017: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2016: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2015: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: リップシンク / 主観年齢

Outline of Final Research Achievements

In this study, perceptual age of combination of voice and face was examined. As a result, the perceptual age of combination of voice and still facial image were seems to get slightly close to the perceptual age of voice only. On the other hand, the perceptual age of combination of voice and lip-synched face images were seems to get slightly close to the perceptual age of face only.

Academic Significance and Societal Importance of the Research Achievements

映画やアニメーションにおけるアフレコ、CGや合成音声などによって制作されたものなどのように、映像と音声が別々に作成され組み合わされることによって様々なコンテンツが制作されている。このようなコンテンツにおいて適切に印象を設計する上で、音声とその音声を発する人の顔や発話動画像の組み合わせによって印象が変わるのか、あるいは「音声の聞こえのみ」もしくは「顔の見た目のみ」の印象に支配されているのかについて把握することは、今後の視聴覚メディア設計を考える上で有益な知見と考える。

Research Products

• [Presentation] 顔と声を同時提示した際の主観年齢分析 (2019)
  • Author(s): 及川隼平，川本真一
  • Organizer: 情報処理学会第81回全国大会
• [Presentation] Analysis of Impression Change by Combination of Faces and Voices (2018)
  • Author(s): Shumpei Oikawa, Shinichi Kawamoto
  • Organizer: 2018 IEEE 7th Global Conference on Consumer Electronics (GCCE)
  • Int'l Joint Research
• [Presentation] 音声モーフィングのための基準点自動付与手法 (2018)
  • Author(s): 滝澤 照太, 川本 真一
  • Organizer: 平成29年度北陸地区学生による研究発表会
• [Presentation] Automatic Reference Point Assignment Technique for Voice Morphing (2017)
  • Author(s): Shota Takizawa, Shinichi Kawamoto
  • Organizer: 2017 IEEE 6th Global Conference on Consumer Electronics (GCCE 2017)
  • Int'l Joint Research
• [Presentation] 顔と声の主観的関連性の分析 (2017)
  • Author(s): 野村竜暉，川本真一
  • Organizer: 電子情報通信学会2017年総合大会
  • Place of Presentation: 名城大学
• [Presentation] 仮説検証による特定話者音声の音素アライメント (2016)
  • Author(s): 園田浩之介、川本真一、赤木正人
  • Organizer: 平成27年度北陸地区学生による研究発表会
  • Place of Presentation: 石川
  • Year and Date: 2016-03-08
• [Presentation] 頭部位置を固定しない視聴覚提示実験システムの開発 (2016)
  • Author(s): 尾島康浩、川本真一
  • Organizer: 平成27年度北陸地区学生による研究発表会
  • Place of Presentation: 石川
  • Year and Date: 2016-03-08