2020 Fiscal Year Research-status Report
Automatic evaluation of group discussion based on multi-modal interpretation
| Project/Area Number |
20K12110
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
嶋田 和孝 九州工業大学, 大学院情報工学研究院, 教授 (50346863)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | マルチモーダル / 自然言語処理 / グループディスカッション |
|---|
| Outline of Annual Research Achievements |
複数人による議論は，PBLのような学習の場のみならず，入試などのグループディスカッションでも活用され，教育の中で重要な役割を担っている．一方で，そのような議論を試験として公平にかつ効率的に評価することは難しい．本研究では，議論の流れを言語的な発話内容だけではなく，音声（韻律情報など）や画像（表情やしぐさなど）を踏まえ，マルチモーダルに利用して把握する手法の確立を目指す．
令和2年度には以下のような研究を行った．
(a) デイベートコーパスの構築：4名によるディベート収録し，書き起こし及び評価値付与を行い，ディベートコーパスを構築した．複数のアノテータによる評価値の一致率などを検証した．
(b) ディベートの質の自動推定：ニューラルネットワークを利用したディベートの質の推定モデルを構築した．言語特徴のみではなく，話者の顔及び姿勢情報を利用したマルチモーダルなモデルの有効性を検証した．議論の合理性については言語特徴が有効であり，議論の有効性についてはマルチモーダル化のメリットが実験的に確認できた．
(c) 議論の状態推定：発話間の関係推定や議論における停滞状態の検出に関するモデル及び表情分析に関する研究を行った．関係推定のタスクではニューラルネットワークによるモデルよりも対話的特徴を組み込んだ機械学習モデルの方が有効であることを確認した．停滞検出モデルにおいては大きく分け9種類の特徴量を設計し，それぞれの有効性について検証をした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
評価のためのコーパス構築と評価モデルの実装評価も行っており，おおむね順調に研究は進んでいる．
|
| Strategy for Future Research Activity |
新しいモダリティの追加による精度向上やコーパスの拡充が今後の課題となる．
|
| Causes of Carryover |
コロナ禍により出張旅費が存在しなかったため，残額が出た．次年度以降の研究発表にかかる費用などに利用する予定である．
|
