An interface to feel the relationship with a remote person by entrainment interaction using information from the eyes, nose and mouth

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K12082
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Okayama Prefectural University
• Principal Investigator: ITO TERUAKI 岡山県立大学, 情報工学部, 教授 (90284306)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: ヒューマンインタフェース / コミュニケーションロボット / かかわり / 身体的引き込み / 運動強調ディスプレイ / ロボットアーム / ジェスチャ / 臨場感コミュニケーション

Outline of Final Research Achievements

This study proposed a method to control the motion emphasis display by the head and body movement, which is nonverbal information used in face-to-face communication, and to feel the relationship with a remote person by the movement. This study developed a control method using eye movement information (eyes) by eye movement measurement, head movement information (nose) by image analysis, and voice information (mouth) by signal analysis in combination with head body movement. As a result, entrainment interaction that feels the relationship with the remote person was recognized.

Free Research Field

ヒューマンインタフェース

Academic Significance and Societal Importance of the Research Achievements

本研究は、遠隔コミュニケーションシステムにおいて、遠隔者の分身として目の前で動作する運動強調ディスプレイという極めてユニークな提案を行っており、学術的に独創性の高い研究である。ディスプレイを通した会話では、話者の存在感が伝わらない、場の雰囲気が共有できない、遠隔者とのかかわり合いを感じないといった根本的な問題に対する取り組みとして、学術的・社会的に意義が深いものである。