Multimodal Dialogue System with Knowledge-based User Adaptive Dialogue Management

2022 Fiscal Year Final Research Report

• Project/Area Number: 19H04159
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Seikei University
• Principal Investigator: Nakano Yukiko 成蹊大学, 理工学部, 教授 (40422505)
• Co-Investigator(Kenkyū-buntansha): 坂戸 達陽 成蹊大学, 理工学部, 助教 (10780679) ; 高瀬 裕 成蹊大学, 理工学部, 助教 (60744000)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: インタビュー対話システム / 大規模知識 / 質問生成 / ジェスチャ生成

Outline of Final Research Achievements

With the goal of developing a system that acquires users' preferences through dialogue, we proposed an interview dialogue system that asks users' food preferences through conversations. In order to realize meaningful and intelligent dialogues, we focus on generating questions using large-scale knowledge and learning semantic content of the interviewer's questions. This allows to generate a rich variety of dialogues and more appropriate questions than previous methods.

Free Research Field

マルチモーダルインタラクション，社会的信号処理，会話エージェント

Academic Significance and Societal Importance of the Research Achievements

対話システムが実用化され，社会に普及し始める中，個人適応型のサービスを提供するためには，対話システムが自動的にユーザの特性を獲得することが必要となる．本研究は，食に関する嗜好獲得に焦点を当て，ユーザがシステムとの対話を楽しむ中で，システムがユーザの嗜好を獲得するインタビュー対話システムを開発した．本研究は，「知識」と「文脈」という対話制御には不可欠である要素に焦点を当て，最新の深層学習の利点を活かしつつ，深層学習モデルに基づく対話生成手法ではあまり注目されていなかった「発話の意味」を重視した手法を提案している．