2017 Fiscal Year Annual Research Report
A spoken dialogue system based on estimation of mental state using multimodal processing
| Project/Area Number |
15J07337
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
井上 昂治 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2015-04-24 – 2018-03-31
|
| Keywords | 音声対話システム / マルチモーダル / 心的状態 / エンゲージメント |
|---|
| Outline of Annual Research Achievements |
人間とロボットとの対話において、ユーザである人間が抱く対話に対する興味や意欲といった心的状態の自動推定に取り組んだ。興味や意欲の指標として、対話エンゲージメントという概念を用いた。一方的にシステムが話すのではなく、ユーザの様子や態度に合わせて、柔軟に変化する対話システムを実現するためには、対話エンゲージメントの自動推定は不可欠な要素である。はじめに、対話データに対して、複数の評定者にエンゲージメントの度合いを判断してもらうことで正解データを作成した。次に、エンゲージメントの推定モデルとして、キャラクタという評定者の特性を考慮する統計的モデルを提案した。ただし、入力として、ユーザの聞き手のふるまいを用いた。具体的には、相槌、笑い、うなずき、視線のふるまいである。エンゲージメントの判断は主観的であるため、評定者によって判断結果が異なることがある。そこで、このキャラクタという潜在変数を導入することで、各評定者の判断結果をより精緻に推定することが可能になった。このモデルは、感情認識などの主観性を伴う他の認識タスクにも適用することができる。
エンゲージメント推定モデルを、実際の対話ロボットで利用するために、リアルタイム推定の実現にも取り組んだ。具体的には、深層学習技術を用いて、入力であるふるまいの自動検出モデルを実装し、これをエンゲージメント推定モデルと統合した。その結果、エンゲージメント推定の精度を保ちつつ、リアルタイムでの推定が可能であることを確認した。
最後に、リアルタイムエンゲージメント推定システムを自律型アンドロイドＥＲＩＣＡの対話システム上へ実装し、研究室紹介のデモンストレーションを行った。ここでは、アンドロイドＥＲＩＣＡが研究室について紹介をするという設定で、来訪者であるユーザのエンゲージメントを自動的に推定し、これに応じてＥＲＩＣＡのふるまいを動的に変化させるものである。
|
| Research Progress Status |
29年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
29年度が最終年度であるため、記入しない。
|
