2016 Fiscal Year Annual Research Report
A spoken dialogue system based on estimation of mental state using multimodal processing
| Project/Area Number |
15J07337
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
井上 昂治 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2015-04-24 – 2018-03-31
|
| Keywords | 対話システム / エンゲージメント / マルチモーダル / 心的状態 |
|---|
| Outline of Annual Research Achievements |
人間どうしの自然な対話における多様なふるまいから、対話に対する興味や意欲を表すエンゲージメントの度合いを推定するモデルを構築した。エンゲージメントを推定することで、対話相手（ユーザ）の状態を理解するだけでなく、システムの適応的な行動やふるまいの実現が期待される。エンゲージメントの推定は客観的であり、推定する人に依存するため、高い精度での推定は困難であるといえる。そこで、エンゲージメントの度合いを推定する人のキャラクタ（性格）を潜在変数とする階層ベイズモデルを提案した。これにより、キャラクタを表す潜在変数の分布をデータから自動で学習しながら、同時にエンゲージメントの推定自体も学習することができるようになった。予備収録した対話データを用いて提案モデルを評価したところ、キャラクタを考慮しない場合に比べて、推定精度が向上することを確認した。また、複数のマイクロホンやカメラなどのマルチモーダルセンサを用いて、対話データ91セッションを収録した。このデータに対して、発話、ふるまい、エンゲージメントに関するデータを整備した。エンゲージメントは、複数の被験者に判断してもらい、上記の提案モデルの評価が行えるようにした。さらに、エンゲージメントの推定機能を実用化するための対話エージェントを想定して、自律型アンドロイドＥＲＩＣＡのための対話システム、および音声認識の研究開発を行った。対話システムに関しては、マイクロホンやカメラなどから得られる多様なセンサ信号を統合し、同時にアンドロイド自身が多様なふるまいを生成することで、ユーザとのマルチモーダルインタラクションを実現した。また、本システムのデモンストレーション発表を行った。音声認識に関しては、マイクロホンアレイによるハンズフリー処理を指向し、デノイジングオートエンコーダを用いることで実時間かつ頑健な処理を実現した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
自律型アンドロイドによる自然な音声対話に関する研究に取り組んでおり、対話データを収録する環境を構築して、91名との対話を収録した。これを用いて、相槌やうなずきなどのマルチモーダルなふるまいとエンゲージメントレベル（心的状態）との関係を分析し、前者から後者を推定する統計的モデルを構築できたため。また、研究室ガイドや傾聴を行うシステムを構築し、複数の国際会議などでデモ発表を行ったため。
|
| Strategy for Future Research Activity |
本年度に収録した対話データを用いて、エンゲージメント推定モデルの評価をより大規模に行う。また、エンゲージメント推定モデルを実時間で動作させ、上記の自律型アンドロイドＥＲＩＣＡの対話システムへ組み込む。これにより、実ユーザとのインタラクションにおいて、エンゲージメント推定モデルの有効性を検証する。さらに、エンゲージメントを推定したのちの、対話エージェントの行動やふるまいについて、対話データを用いた分析、およびふるまいの予測モデルの構築と検証を行う。
|
