Automatic generation of utterances that fit speaker's personality

2023 Fiscal Year Final Research Report

• Project/Area Number: 21H03497
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Nagoya University
• Principal Investigator: Sato Satoshi 名古屋大学, 工学研究科, 教授 (30205918)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 自然言語処理 / 発話文 / 表現文型 / 口調エンコーダ / 口調ベクトル / 話者推定 / 発話文生成

Outline of Final Research Achievements

We developed "a Dictionary of Sentence Patterns of Japanese Utterance" that offers possible sentence-ending forms for expressing a particular speech intention. Additionally, we developed a speech-style encoder that converts any utterance into a vector (speech-style vector), in which the features of the speech style are embedded. Using the speech-style encoder, we can create a representative vector of a specific speaker (character) from a dozen utterance examples. Representative vectors enable the automatic selection of an utterance suitable for a speaker among utterance candidates and the automatic identification of the speaker of an utterance in a novel.

Free Research Field

自然言語処理

Academic Significance and Societal Importance of the Research Achievements

本研究の意義は、日本語発話のスタイル・口調をベクトル化することに成功し、それにより、生成と解析の両側面において、新たな技術を提供した点にある。発話生成という側面では、発話のスタイル・口調を制御する（特定の話者のスタイル・口調を模倣する）ことが可能となった。この技術は対話エージェントなどで個性を持ったエージェントの実装等に利用できる。解析という側面では、小説内の発話の話者推定に対して口調に基づく話者推定という新しい方法を提供した。