音声対話システムにおける複数のふるまいの同時制御に基づくキャラクタ表現

Research Project

Project/Area Number	23K20005
Research Category	Grant-in-Aid for Research Activity Start-up
Allocation Type	Multi-year Fund
Review Section	1002:Human informatics, applied informatics and related fields
Research Institution	Osaka University
Principal Investigator	山本賢太大阪大学, 産業科学研究所, 助教 (70981083)
Project Period (FY)	2023-08-31 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000) Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywords	音声対話システム / キャラクタ / パーソナリティ / 応答生成 / 対話のふるまい
Outline of Research at the Start	本研究は、音声対話システムにおける新しいキャラクタ表現方法の構築に取り組む。音声対話システムにおけるキャラクタ表現とは、システムのふるまいに一貫性をもたせることにより、システム固有の対話を実現するものである。これにより、ユーザが対話システムとの対話に満足感を得られ、システムを継続的に利用してもらうことが期待できる。これまでの研究では、対話システムの発話内容の制御に重点が置かれてきた。そこで本研究では、音声対話における相槌やフィラーといったふるまいと発話内容を同時に制御するキャラクタ表現モデルの構築を目指す。またキャラクタ表現によりユーザがシステムを話したいと感じることを検証する。
Outline of Annual Research Achievements	音声対話システムにおけるキャラクタ表現とは、システムのふるまいに一貫性をもたせることで、システム固有の対話を実現するものである。本研究では、キャラクタ表現において言語表現と非言語表現の使い分けに着目する。ユーザがシステムのキャラクタを感じる際に、キャラクタの特性ごとに最も印象に影響する表現形式を明らかにする。そこで、本年度は言語表現である発話内容に着目して研究を実施した。システムのキャラクタをBigFive性格特性により定義し、BigFive性格特性における外向性、情緒不安定性、協調性、開放性、誠実性の5つの特性をシステムの発話内容に反映させる手法に取り組んだ。発話内容の制御においては、近年発話生成に用いられている大規模言語モデルを前提とした発話生成におけるキャラクタ表現手法を提案した。この手法では、システムの発話生成時に大規模言語モデルのプロンプトにBigFive性格特性に関連する形容詞群を用いてシステム発話を生成する。実験では、システムに設定したキャラクタを、発話内容からユーザが感じ取るかどうかを検証した。その結果、BigFive性格特性の５つの特性のうち、発話内容からユーザが印象として感じ取りやすい特性の傾向を明らかにした。さらに、発話内容において性格特性の印象に影響を与える言語特徴量について分析した。この結果発話内容の制御だけでは、適切に表現できない特性の傾向があきらかになった。また、次年度でキャラクタ表現モデルの構築に用いるデータ収集を実施した。このデータ収集では、発話内容だけでなく、音声特徴量も同時に制御した際のユーザがシステムのキャラクタに対して感じる印象を評価したデータを収集した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 今年度に計画していた、大規模言語モデルを用いた発話生成に関する調査・実験は、実施計画に沿っておおむね予定通り進んでいる。また、次年度に向けたデータ収集にも着手することができている。
Strategy for Future Research Activity	次年度では、発話内容と非言語的なふるまいと統合したキャラクタ表現モデルの構築に取り組む。はじめに、非言語的ふるまいがキャラクタの印象に与える影響について調査実験を実施する。この実験結果と本年度に収集したデータを用いて、キャラクタ表現モデルを学習する。このモデルでは、表現したいキャラクタに応じて、表現に有効な特徴を発話内容と非言語的ふるまいを選択して制御する。