2021 Fiscal Year Annual Research Report
対話タスク・ユーザに適したキャラクタを表現する音声対話システム
| Project/Area Number |
20J22284
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
山本 賢太 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2020-04-24 – 2023-03-31
|
| Keywords | 音声対話システム / 対話ロボット / キャラクタ / パーソナリティ / 対話のふるまい |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、対話のふるまいを用いた音声対話システムのためのキャラクタ表現モデルによるタスク・ユーザ適応を実現することである。昨年度までは音声対話システムのためのキャラクタ表現モデルを構築した。本年度はそのキャラクタ表現モデルによる対話のタスク・ユーザ適応のためデータ分析、モデルの構築、被験者実験による評価を実施した。
対話において対話システムのキャラクタおよびユーザのキャラクタが対話に対する印象に対して与える影響について調査データを分析した。その結果、対話における音声対話システムおよびユーザのキャラクタの組み合わせによって対話相手に対する印象が異なることを確認した。この結果をまとめユーザのキャラクタと相性の良いキャラクタをシステムが表現することで、ユーザごとに話しやすい音声対話システムを実現する方法を提案した。
対話のふるまいを用いて、ユーザのキャラクタを推定するモデルを構築した。このモデルでは、対話中のユーザのふるまいからリアルタイムにキャラクタを推定する。このモデルをキャラクタ表現モデルと組み合わせることで、ユーザのキャラクタに応じてシステムがキャラクタを使い分けるシステムを構築した。
キャラクタ表現によるユーザ適応の評価のため被験者実験を実施した。この被験者実験では、ユーザにとって相性の良いと推定されたキャラクタを表現することにより、対話における話しやすさが向上することを検証した。
実験結果から、ユーザ適応の実現に際して「ユーザのキャラクタ認識モデルの精度がユーザ適応に際しては不十分である」、「ユーザにとって望ましい音声対話システムのキャラクタが対話のタスクの影響を受ける」という２つの課題が明確となった。この２点はユーザ適応実現のための次年度の課題とする。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、キャラクタ表現によるユーザ適応モデルの構築に取り組んだ。構築にあたり対話コーパスに対して、ユーザのキャラクタと音声対話システムのキャラクタの印象と対話に対する印象評定実験を実施した。この実験データから、ユーザのキャラクタと音声対話システムのキャラクタの組み合わせが対話に対する印象に影響することを確認した。つぎに、ユーザのふるまいからユーザのキャラクタを認識するモデルを構築した。このモデルを用いてキャラクタ表現モデルを拡張し、対話中にユーザのキャラクタに応じて音声対話システムのキャラクタを制御するシステムを構築した。このシステムの有効性を検証するための被験者実験を実施した。ここまでは本年度の計画通りに進行している。しかし、システムの評価結果から、ユーザ適応の実現における課題が明らかとなった。リアルタイムにキャラクタによるユーザ適応を実現するためは、ユーザのキャラクタ認識精度が現状のキャラクタ認識モデルでは不十分である。また、ユーザが望ましいと感じるキャラクタは、ユーザ自身のキャラクタだけではなく対話のタスクなど他の要因による影響を受けるためこの点を考慮したユーザ適応のモデル化が必要である。この２点は次年度の課題とする。
|
| Strategy for Future Research Activity |
本年度の研究において明らかとなったキャラクタ表現によるユーザ適応における課題に取り組む。さらに、対話のふるまいを用いた音声対話システムのためのキャラクタ表現モデルによるタスク・ユーザ適応モデルとして、これまでのシステムを統合し最終評価実験を実施する。これらを以下の手順で実施する。1. リアルタイムで動作するユーザのキャラクタ認識モデルを構築する。このモデルでは、これまでのふるまいに加えて、韻律や視線の特徴量を追加し、より高い精度でユーザのキャラクタを認識する。2. キャラクタによるタスク適応とユーザ適応の統合を行う。これまでのシステムは、対話のタスクおよびユーザのキャラクタに個別に対話システムのキャラクタを適応させていた。そのため、本年度の実験結果のように、被験者によって適していると感じるキャラクタに個人差が生じていた。そのため、対話のタスクごとにキャラクタ表現によるユーザ適応を使い分けるモデルを構築する。そのため、データ収集を実施し、対話のタスクごとに、音声対話システムのキャラクタとユーザのキャラクタとの相性の関係性をモデル化する。このモデルを音声対話システムに実装する。実装にあたり、1のキャラクタ認識モデルと統合する。3. 最終評価では、音声対話システムの社会での利用を想定し、被験者がくりかえしシステムとの対話を行う。その中で、音声対話システムによるタスク適応・ユーザ適応によりタスクの達成率やユーザの満足感が向上することを検証する。
|
Research Products
(1 results)
