Development of Emotional Expression Emphasizing System to Enhance the Social Presence of AI Agents

2022 Fiscal Year Final Research Report

• Project/Area Number: 19K12081
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Kyoto Institute of Technology
• Principal Investigator: Tanaka Kazuaki 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (70721877)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 音声対話エージェント / 感情表現 / 音楽 / ソーシャルプレゼンス / ロボットハンド / 身体接触

Outline of Final Research Achievements

The purpose of this research is to emphasize the emotional expressions of AI agents with various information and to enhance their social presence. First, the effect of emphasizing emotional expressions using sound information was verified. It is clarified that emphasizing the emotional expression of the agent's synthesized voice with BGM makes it easier to convey the emotion, and as a result, increases the social presence. Next, the effect of tactile information was verified. In the experiment, subjects had a conversation while holding hands with a conversation partner through a robotic hand. The partner performed operations to grip the participants' hand strongly at the part where the partner's emotions were heightened. We found that the movement of the robotic hand according to the flow of conversation makes the subjects feel that the robotic hand was the partner's hand, and that the feeling of gripping with the partner's hand increased the social presence.

Free Research Field

ヒューマンエージェントインタラクション

Academic Significance and Societal Importance of the Research Achievements

AIエージェントはスマートフォンやスマートスピーカだけでなく，電子レンジや車など様々な家電に搭載されている．そのようなエージェントとの対話は，ユーザが作業中であっても使用できるように音声が使用されているが，モノに話しかける羞恥心によってその機能が活用されていない場合がある．本研究の成果の社会的意義は，エージェントの感情表現を様々な情報で強調することで社会的存在感を高め，話しかける羞恥心を軽減できることを示した点である．そして，感情表現を強調する手段として，BGMやSEのような音情報だけでなく視覚や触覚等も有効であることを示し，モダリティに依存しないことを明らかにした点が学術的意義である．