2021 Fiscal Year Annual Research Report
Multimodal Dialogue System with Knowledge-based User Adaptive Dialogue Management
| Project/Area Number |
19H04159
|
|---|
| Research Institution | Seikei University |
|---|
Principal Investigator |
中野 有紀子 成蹊大学, 理工学部, 教授 (40422505)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂戸 達陽 成蹊大学, 理工学部, 助教 (10780679)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 会話参加者特性 / ジェスチャ / 性格特性 |
|---|
| Outline of Annual Research Achievements |
2021年度の主な成果として，以下の2点について報告する．
(1)グループディスカッションにおける会話参加者の説得力の推定：会話参加者の特性認識の研究として，グループディスカッションにおける会話参加者の説得力の推定モデルを提案した．まず，グループディスカッションにおける4人の参加者それぞれの説得力の度合いを，アノテーターが評価した．次に，GRUベースのニューラルネットワークを用いて，発話，言語，視覚（頭部ポーズ）特徴を用いて，各参加者の説得力を推定するマルチモーダル・マルチパーティモデルを作成した．
実験の結果，マルチモーダルモデルとマルチパーティモデルは，ユニモーダルモデルと一人用モデルに比べて優れた性能を示した．最も優れたマルチモーダル・マルチパーティ・モデルは，説得力の高低を80%の精度で予測し，グループ内で最も説得力のある参加者を77%の精度で予測することを達成した．
(2)ジェスチャによる性格特性表現方法の開発：まず，会話参加者の性格特性と，2者対話におけるハンドジェスチャーの表現力との関係を分析し，Big5性格特性の各次元において，その特性を強く有する人とそうでない人では，どのような動作特徴（大きさや速さなど）に違いがあるのかを調べた．次に，この分析結果に基づいて，エージェントの性格特性を表現できるジェスチャ生成方法を提案した．ユーザスタディの結果，提案手法によって生成されたエージェントのアニメーションから，期待される性格特性が知覚できることが明らかになった．特に，外向性と情緒不安定性については，本手法により生成されたエージェントのジェスチャは，被験者に期待通りの印象を与えることに成功した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ユーザ適応的な会話エージェントの実現のためには，第1に，ユーザの特性を自動的に認識する技術が必要である．本年度は，その1つである説得力に焦点を当て，説得力自動推定モデルを作成した．高低二値分類での性能は80%を達成し．良好な結果を得ることができた．もう1つの側面である，会話エージェント実装技術として，ジェスチャによる性格特性の表現方法の研究を進めた．こちらは，人同士の対話データを分析して得られた性格特性とジェスチャとの関係を，会話エージェントのアニメーションに適用することにより，会話エージェントに性格特性を付与することに成功した．ユーザ適応的な会話エージェントを実現するには，エージェントの個性を表現する技術も重要であり，本研究は，その目的に寄与するものである．
|
| Strategy for Future Research Activity |
最終年度に向け，対話システムエンジンの高度化に取り組む予定である．そのために，対話コーパスを収集し，人同士のやり取りから，対話ストラテジを学習するモデルを作成し，人により近い対話制御を行うことができる対話エンジンの実現を目指す．同時に，会話参加者の特性認識についてもより幅を広げて取り組んでゆく．
|
-
-
-
[Presentation] Predicting Persuasiveness of Participants in Multiparty Conversations2022
Author(s)
Atsushi Ito, Yukiko I. Nakano, Fumio Nihei, Tatsuya Sakato, Ryo Ishii, Atsushi Fukayama, and Takao Nakamura
Organizer
27th International Conference on Intelligent User Interfaces (IUI '22 Companion).Association for Computing Machinery, New York, NY, USA, 85-88. DOI:https://doi.org/10.1145/3490100.3516466
Int'l Joint Research
-
-
-
-
