2020 Fiscal Year Annual Research Report
対話タスク・ユーザに適したキャラクタを表現する音声対話システム
| Project/Area Number |
20J22284
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
山本 賢太 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2020-04-24 – 2023-03-31
|
| Keywords | 音声対話システム / 対話ロボット / キャラクタ / パーソナリティ / 対話のふるまい |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、対話のふるまいを用いた音声対話システムのためのキャラクタ表現モデルを構築し、キャラクタ表現によるタスク・ユーザ適応を実現することである。本年度は、研究計画に沿って、キャラクタ表現モデルの構築、音声対話システムへ実装、被験者実験による評価を実施した。
キャラクタ表現モデルを構築するために、変分オートエンコーダを用いた半教師あり学習を提案した。これはキャラクタのラベル付きの対話データとキャラクタのラベルなしのコーパスデータを組み合わせた半教師あり学習である。この学習方法により、これまでの教師あり学習に基づくキャラクタ表現モデルよりも、人同士の対話に観測されるような自然なふるまいの制御が実現された。
提案モデルの拡張として、キャラクタのラベルが付与されていない新しいふるまいをモデルに追加する方法を提案した。この手法では、コーパスデータに観測されるふるまいを前述の半教師あり学習における教師なし学習において新しいふるまいを学習データ追加することで、対話データにおけるふるまい同士の関係性を学習する。これにより、キャラクタの印象評定データに含まれていないふるまいに対しても、キャラクタに応じた自然な制御が実現されることを確認した。
このモデルを対話ロボットの音声対話システムに実装し、被験者実験を実施した。提案モデルを実装した対話ロボットとの対話動画を被験者に視聴してもらい、対話のタスクに応じてキャラクタを使い分けることによる、対話ロボットの印象への影響について検証した。実験結果から、対話のタスクに応じたキャラクタをロボットが表現することで、被験者がロボットに対して対話に適していると感じることが確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、対話のふるまいを用いたキャラクタ表現モデルの構築した。
構築にあたり、変分オートエンコーダを用いた半教師あり学習を提案し、少数のキャラクタの印象評定データからでも、対話コーパスを活用することで自然なふるまい制御を実現可能であることを示した。この点については、本年度の計画通りに研究を実施した。
一方で、緊急事態宣言の発令により、当初予定していた対面での被験者実験は困難となったため、オンラインでの被験者実験を実施した。実験結果からはキャラクタ表現モデルの有効性が確認された。
次年度の課題であるユーザ適応に必要となるデータの収集を実施した。具体的には、対話データに対して、話者同士のキャラクタの印象と対話全体に対する印象評定データを収集した。
|
| Strategy for Future Research Activity |
本年度の研究において、タスクに応じたキャラクタ表現モデルの構築とその有効性を検証した。研究計画において次の課題として設定していた、キャラクタ表現に基づくユーザ適応について以下の手順で実施する。
1.ユーザのキャラクタに対して、相性の良いキャラクタを推定するモデルを構築する。このモデルの構築においては、本年度に収集したコーパスデータにおける、話者同士のキャラクタの組み合わせに対する印象評定データを活用する。2.ユーザのふるまいからキャラクタを認識するモデルを構築する。このモデルの学習には、音声特徴量に画像特徴量を追加したマルチモーダルなキャラクタ認識モデルを構築する。ユーザに対して、キャラクタを適応するためには、対話の序盤にキャラクタ認識を精度良く実現することが求められる。そのため、本年度に提案したキャラクタ表現モデルの学習方法をキャラクタ認識モデルに応用する方法を検討する。3.上記の2つのモデルを音声対話システムに実装し、被験者実験により有効性を検証する。この実験では、リアルタイムにユーザのキャラクタを推定し、対話の進行に応じて、ユーザに合わせたキャラクタへ制御することで、ユーザの対話に対する満足感が向上することを検証する。
最終的には、本年度に提案したタスク適応のためのモデルと統合し、タスク・ユーザの両方に最適化したキャラクタ表現を実現するモデルを構築する。
|
