Generation and xplanation of laughter based on dialogue semantic understanding

• Project/Area Number: 23K16901
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Kyoto University
• Principal Investigator: 井上 昂治 京都大学, 情報学研究科, 助教 (10838684)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
• Keywords: 笑い / 対話 / 意味理解 / 説明性 / 音声対話システム

Outline of Research at the Start

本研究は「会話ロボットは発話の意味を理解して笑うことができるか」という問いのもとに、適切なタイミングで適切な種類の笑いを表出することができる会話ロボットの実現を目指す。会話ロボットが適切に笑うためには、対話中の発話の意味を、その文脈も含めて高度に理解する必要がある。そこで、本研究ではまず、音声対話中の笑いの有無とその理由に関するデータセットを構築する。そして、対話の意味理解に基づく笑いの予測・説明モデルを構築する。その際に、大規模言語モデルを活用する。そして、構築したモデルを音声対話システムへ統合し、様々なロボットおよび対話場面において、会話ロボットが笑うことによる効果を検証する。