2020 Fiscal Year Annual Research Report
Multimodal Dialogue System with Knowledge-based User Adaptive Dialogue Management
| Project/Area Number |
19H04159
|
|---|
| Research Institution | Seikei University |
|---|
Principal Investigator |
中野 有紀子 成蹊大学, 理工学部, 教授 (40422505)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | マルチモーダル理解 / ジェスチャ生成 / 会話エージェント |
|---|
| Outline of Annual Research Achievements |
本研究は，知的な対話の実現を目指す対話システム研究と，機械とのコミュニケーションにおける親近感や信頼感を重視してきた会話エージェントの研究を融合することにより，知的でありかつ人と長期的な関係を構築できる会話ヒューマノイドの実現を目指す．2020年度の主な成果として，以下の2点について報告する．
(1) 重要発言の検出に基づく議論ブラウザの開発と評価：会議を振り返るために，議論のビデオを閲覧するためのシステムは有用である．しかし，会議を録画した動画を全て再生するのは効率的ではない．そこで我々は，議論のマルチモーダルデータから重要発言を検出する機械学習モデルを適用し，そこで得られた重要発言を可視化し，ユーザの議論動画閲覧を支援する議論ブラウザを開発した．次に，開発した議論ブラウザの有効性を検証するユーザ実験を実施した．被験者には，提案ブラウザと２種類の比較対象となるブラウザを使って，要約の作成作業と会話参加者の役割を判断する作業に取り組んでもらった．その結果，提案した議論ブラウザを使用する方が議論をよりよく理解し，かつ短時間で要約を作成できることが明らかになった．また，会話参加者の役割についてもよりよく理解できていた．
(2) ジェスチャ生成機構の研究開発：会話エージェントの非言語表現の高度化を目的とし，性格特性と，発話に共起する非言語行動の関係についてモデル化する研究に取り組むと同時に，図像的ジェスチャにおける形状の決定手法についても深層学習を用いた手法を提案した．また，これらの技術を統合し，ジェスチャタイプの決定，形状の決定，性格特性の付与を一連の処理により行うパイプラインアーキテクチャのシステムを構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
対話システムの開発を進めつつ，対話システムの理解部を構築するコア技術となるマルチモーダルインタラクション認識の研究も進めた．知識ベースを活用した対話システムの初期バージョンは作成を完了し，ユーザモデルについてもマルチモーダル機械学習の手法により取り組んでいる．したがって，対話システムの研究とマルチモーダル認識・生成の研究はそれぞれほぼ予定通り進捗していると認識している．
|
| Strategy for Future Research Activity |
本プロジェクトも後半に入るため，今後は，もう１つの重要なテーマである個人適応について，より注力して研究を進める，そのために，前半の２年間で作成してきたシステムやモデルをユーザ適応の観点から拡張する方策をとる．
|
Research Products
(12 results)
