Development of a multimodal discussion map and a assessment support system based on discussion understanding

2019 Fiscal Year Final Research Report

• Project/Area Number: 17H01840
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Learning support system
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: Shimada Kazutaka 九州工業大学, 大学院情報工学研究院, 教授 (50346863)
• Co-Investigator(Kenkyū-buntansha): 齊藤 剛史 九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: マルチモーダル / 言語処理 / 画像処理

Outline of Final Research Achievements

In collaborative work, people need to discuss several topics for decision-making on a meeting, namely multi-party conversation. It is a very important task in intelligent systems to support consensus-building in conversations with multiple participants. The goal of this study is to construct a system that cooperatively supports consensus-building and management of conversation for high-quality discussion, namely Digital Facilitator.
We investigated the Digital Facilitator model from macro and micro perspectives. We introduced not only verbal features but also non-verbal features from video, namely multimodal features. In addition, we investigated other participants' behavior for predicting fruitless arguments in a conversation.

Free Research Field

自然言語処理

Academic Significance and Societal Importance of the Research Achievements

本研究では，コーパス（言語資源）の構築を進めてきた．これまでの自然言語処理の研究結果を踏まえ，各発話の役割を人手で割り当てるなどの作業をした．このコーパスは無償で利用できるように申請者のWebページで公開している．このコーパスは類似した研究を進める他の研究者にとっても役に立つであろう．
計算機による円滑な議論支援のために，実際の対話でリーダシップを取った参加者の行動を機械学習によってモデル化し，議論を通したリーダの振る舞いやリーダとして発言すべきタイミングの検出モデルなどを構築した．また言語的な情報だけではなく，音声や画像を利用したマルチモーダル情報理解をした点も大きな成果である．