Speech and video processing and modeling of speech rate conversion conversation system adapting to speaker state

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K00281
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: Tokyo Denki University
• Principal Investigator: Saito Hiroto 東京電機大学, システムデザイン工学部, 准教授 (00328519)
• Co-Investigator(Kenkyū-buntansha): 武川 直樹 東京電機大学, システムデザイン工学部, 教授 (20366397)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 話速変換 / 順番交替 / 遠隔コミュニケーション / 遅延

Outline of Final Research Achievements

We realized a video and speech processing method in which the support recipient does not perceive time lag in conversation using speech rate conversion system. The hearer is able to have a conversation with a conversation interface that could take lip sync in which video and speech are synchronized.
In addition, as a support method for the "speaker" who does not need to support listening to the slow utterance, the speaker listen the loops back speech himself after the utterance so that the speaker can understand the listening contents of the slow utterance on the hearer side. We implemented an interface that adaptively plays loop-back voice (voice feedback) and clarified the effectiveness of voice feedback.

Free Research Field

会話インタフェース

Academic Significance and Societal Importance of the Research Achievements

遠隔ミーティングや遠隔授業等の利用機会が増加している現在，多人数が参加する会話場において，ゆっくりとした発話で聴取したい参加者もいることが想定される．
本研究成果は，聞き取りに支障のある弱者が他者との対等なコミュニケーションをとるためのインタフェース設計をした．これにより，これまで周囲とのコミュニケーションが遠慮がちで孤独感を持っている人でも，会話の場に加わることができ，例えば高齢者の生活の質の向上や，非母語の学習者の言語の能力向上につながる．本研究成果は，人間同士のコミュニケーションの多様な場に応用が可能である．