Analysis by Synthesis of Dynamic Facial Color and Expression under Emotional Changes in Remote Rehabilitation

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K03147
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Kagawa University
• Principal Investigator: Yamada Takashi 香川大学, 教育学部, 教授 (10321506)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: ヒューマンインタフェース / コミュニケーション / リハビリテーション / 顔色

Outline of Final Research Achievements

In this study, we developed an analysis-by-synthesis system for dynamic facial color and expression using a virtual facial image, a grip strength measurement system for exploring the minds of infants, and an upper-limb exoskeletal robot system equipped with a dumbbell grip mechanism/grip strength measurement mechanism. By organically combining these systems, we constructed an experimental prototype system to synthetically analyze the dynamic facial color and expression under emotional changes in remote rehabilitation and evaluated the system performance.

Free Research Field

ヒューマンインタフェース

Academic Significance and Societal Importance of the Research Achievements

リハビリテーションにおいて、医師・理学療法士には、患者の顔色、表情、姿勢などの様子を観察するだけでなく、緊張をほぐしながら、患者が話しやすい雰囲気づくりに努めることが求められている。本研究は、ロボットの遠隔操作による在宅でのリハビリテーションを想定して、医師・理学療法士と患者・患者を看護する人のコミュニケーションの場づくりを支援したり、解析したりすることが可能なヒューマンインタフェース設計に着目した萌芽的研究である。