2019 Fiscal Year Annual Research Report
Multimodal Dialogue System with Knowledge-based User Adaptive Dialogue Management
| Project/Area Number |
19H04159
|
|---|
| Research Institution | Seikei University |
|---|
Principal Investigator |
中野 有紀子 成蹊大学, 理工学部, 教授 (40422505)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高瀬 裕 成蹊大学, 理工学部, 助教 (60744000) [Withdrawn]
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 対話システム / 話題埋め込み / 知識埋め込み / ジェスチャ形態決定 / 会話エージェント |
|---|
| Outline of Annual Research Achievements |
本研究は，知的な対話の実現を目指す対話システム研究と，機械とのコミュニケーションにおける親近感や信頼感を重視してきた会話エージェントの研究を融合することにより，知的でありかつ人と長期的な関係を構築できる会話ヒューマノイドの実現を目指す．2019年度の主な成果として，以下の2点について報告する．
(1) 大規模知識ベースを用いたオープンドメインの個人適応型対話システムの実現
現在の話題との類似度の高い話題を関連話題として提供する対話システムの開発に取り組んだ．まず，関連話題を決定するために，大規模知識ベースであるFreebaseを用い，話題の近さをベクトル空間で表現することが可能な話題埋め込みを作成した．例えば，ラザニアという「料理名」の関連話題として，「材料」を選択し，材料名に言及した質問生成が可能になる．しかし，対象となる材料名がFreebase中に存在しない場合がある．この問題を解決するために，明示的に与えられていない知識についての予測を行うことができる知識グラフ埋め込みを用いた．さらに，本手法を実装した対話システムを開発し，評価実験を行った．クラウドソーシングにより実施した評価実験の結果，話題埋め込みと知識埋め込みを組み合わせることにより，提供できる話題の種類が大きく増加することが確認できた．
(2) 会話エージェントプラットフォーム実現に向けたジェスチャ形態決定手法の開発
ジェスチャにより単語の意味を伝えることができるバーチャルエージェントを目指し，対象物に対する図像的ジェスチャの形態を決定するモデルを提案した．深層学習技術を用いて，10～12枚の画像から対象物の概念表現を生成し，これを用いてジェスチャ形状を決定するモデルを作成した．その結果，7種類（四角，長四角，丸，長丸，線形など）の中から適切なジェスチャ形状を62％以上の精度で選択することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
対話システムの開発については当初予定通り，ベースとなるシステムの実証実験を実施するレベルまで開発を進めることができた．また，会話エージェントの開発においても，身体表現の重要な課題である，ジェスチャ形態決定について一定の成果を得ることができた．システムに組み込むことができるレベルのモデル性能を得ている．一方で，ユーザモデル獲得方法については，ユーザ特性を獲得するためのデータセットの整備に予定よりも時間を要している．
|
| Strategy for Future Research Activity |
今後も当初計画通り，オープンドメインの対話システムと，会話エージェントにおける非言語行動の認識・生成の研究を進めてゆく．モデル学習のためのコーパスが不足しているので，今年度以降は学習コーパスの整備にも力を入れてゆく．
|
