Development of the responsive model for a virtual listener agent by using multimodal information

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K00289
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: Institute of Physical and Chemical Research (2018); Ritsumeikan University (2016-2017)
• Principal Investigator: Huang Hung-Hsuan 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (00572950)
• Co-Investigator(Kenkyū-buntansha): 林 勇吾 立命館大学, 総合心理学部, 准教授 (60437085)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 会話エージェント / 高齢者支援 / 対話システム / マルチモーダルインタラクション / 会話状態推定 / 機械学習 / 深層学習

Outline of Final Research Achievements

This project aims the realization of an active listening agent which can support human volunteers in the domain of mental care older generation. During the project period, we worked on three tasks related to this topic. 1. The development of an automatic estimation model of the speaker’s engagement state. 2. The development of the nonverbal behavior generation model of the agent. 3. The agent platform the connect the developed models and drive a workable virtual listener agent. These tasks were done with a data-driven method. We conducted two subject experiment to collect multimodal data corpus and used machine learning methods to develop the models.

Free Research Field

人間情報学

Academic Significance and Societal Importance of the Research Achievements

利用者に対しての癒し効果を狙って利用者から話しかければ，意図を持たず単純な反応を適当に返す市販のペットロボットや研究用ロボットが提案されている．しかし，言語・非言語チャンネルの両方が重要な対面対話である傾聴会話を扱い，それが行えるシステムはまだ存在していない．本研究は，人間同士による会話実験を通じて傾聴会話の参加者の具体的な言動の関係を分析し，モデル化，実用システムの開発まで行おうとするものである．傾聴という難しいタスクに踏み込み，コミュニケーションのメカニズムを解明するという科学的な意義と実際に動作するエージェントシステムの働きにより利用者の心的ケアを目指す工学的な意義の両方をもつ．