Expression and Recognition of Emotion through Blinking between Humans and Robots

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K18850
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Research Field: Mechanical dynamics, Robotics, and related fields
• Research Institution: Saitama University
• Principal Investigator: KUNO Yoshinori 埼玉大学, 理工学研究科, 教授 (10252595)
• Co-Investigator(Kenkyū-buntansha): 小林 貴訓 埼玉大学, 理工学研究科, 准教授 (20466692) ; Lam Antony 埼玉大学, 理工学研究科, 助教 (50744124) ; 福田 悠人 埼玉大学, 理工学研究科, 助教 (70782291)
• Project Period (FY): 2017-06-30 – 2020-03-31
• Keywords: 知能ロボット / コンピュータビジョン / ヒューマンロボットインタラクション / 感情認識 / 認知症

Outline of Final Research Achievements

Eyeblinks happen almost unconsciously and have recently been found to be related to the communication process. In particular, eyeblinks are synchronized between listeners and speakers in face-to-face conversation. Thus, we studied the use of eyeblinks in robots to help them smoothly communicate with humans. Indeed, we have observed the same synchronous eyeblinks between human participants and robots when the robots talk to them. We have developed a robot that can recognize human eyeblinks from a camera and blink synchronously with human participants that talk to the robot. We have performed experiments using human participants to examine how such blinking may affect communication. However, we have not yet obtained any concrete results. This is left for future work.

Free Research Field

ヒューマンロボットインタラクション

Academic Significance and Societal Importance of the Research Achievements

人間同士の場合の重要性から、人間とロボットのコミュニケーションにも表情や身振りなどの非言語行動の利用が研究されている。しかし、主な対象は意識的に行う非言語行動であった。ここで取り上げたまばたきは、ほとんど無意識的に行われる行動である。しかし、認知や情動に関連することが分かってきている。無意識に生じるということは、その人の本当の認知や情動の状態を示すものであり、その利用は人間の本当の気持ちにそって行動できるロボットの実現に役立つと考えられる。今回は、無意識の行動ということで、定量的評価が難しい点はあったが、ロボットのまばたきについて基礎的な知見を得ることができた。