2015 Fiscal Year Annual Research Report
マルチモーダル処理による心的状態推定に基づいた音声対話システム
| Project/Area Number |
15J07337
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
井上 昂治 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2015-04-24 – 2018-03-31
|
| Keywords | 対話システム / 心的状態 / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
自然な会話における人間の多様なふるまいを分析するために、マルチモーダルなセンサを用いたデータ収録システムを構築した。複数のマイクロホン、マイクロホンアレイ、ＲＧＢカメラ、深度センサを同時制御可能にした。本システムを用いて、15セッションの対話データを予備収録した。現在、同データを用いて、多様なふるまいと心的状態との関係について分析を進めている。次年度は、本収録システムにより、約100セッションの対話データの収録を予定しており、上記の分析および心的状態推定モデルの学習に用いる予定である。
対話システムの各要素技術についても研究・開発を行った。対話のインタフェースとして、人型アンドロイドＥＲＩＣＡを用い、言語情報と非言語情報を統合したマルチモーダルな対話システムを実現した。また、ユーザのふるまいの自然性を実現するためには、従来の対話システムで見られるようにマイクロホン（またはスマートホン）をユーザが手に持つのではない、ハンズフリーの状況が望ましい。そこでマイクロホンアレイをＥＲＩＣＡの周囲に配置した状況を想定した遠隔発話の音声認識について取り組んだ。音響モデルのマルチコンディション学習やデノイジングオートエンコーダの導入により、雑音環境下の遠隔発話でも、音声対話に充分な認識精度を実現した。さらに、複数のユーザと対話を行うためには、誰がいつ話しているかを検出する技術（話者区間検出）が必要である。音響情報だけでなく視線情報も用いることで、雑音環境下での頑健性を実現した。次年度以降に構築予定である、ユーザの心的状態を推定する対話システムにおいて、上記の各要素技術は、そのふるまいの自然性や頑健性に大きく寄与すると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
大量の対話データを獲得するためのマルチモーダル収録システムが構築され、予備収録および心的状態推定モデルの検討が行われているため。また、最終的に構築される予定の対話システムの各要素技術の頑健性が本研究課題により向上しているため。さらに、学術雑誌や国際会議での発表も行われているため。
|
| Strategy for Future Research Activity |
マルチモーダル対話収録システムを用いて約100セッションの対話データを収録し、心的状態のアノテーションを実施する。また、心的状態推定モデルの検討および精度検証を行う。さらに、これまでに構築してきた対話システムに、心的状態推定システムを搭載し、その有効性を確認する。
|
Research Products
(14 results)
