2021 Fiscal Year Research-status Report
Automatic evaluation of group discussion based on multi-modal interpretation
| Project/Area Number |
20K12110
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
嶋田 和孝 九州工業大学, 大学院情報工学研究院, 教授 (50346863)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | マルチモーダル / 自然言語処理 / グループディスカッション |
|---|
| Outline of Annual Research Achievements |
複数人による議論は，PBLのような学習の場のみならず，入試などのグループディスカッションでも活用され，教育の中で重要な役割を担っている．一方で，そのような議論を試験として公平にかつ効率的に評価することは難しい．本研究では，議論の流れを言語的な発話内容だけではなく，音声（韻律情報など）や画像（表情やしぐさなど）を踏まえ，マルチモーダルに利用して把握する手法の確立を目指す．
令和3年は以下のような研究を行った．
（a）複数人議論の細かい粒度での要約：議論を複数のトピックに分け，各トピックに対して要約をする技術について研究をした．そのためのデータセットの構築も行った．関連する研究を電子情報通信学会NLC研究会および国際会議IALP2021で発表した．作成したデータセットは申請者のWebページで公開し，他の研究者が自由に利用できるようにしている．
（b）議論構造の推定：発話間の議論関係について機械学習とルールベースを組み合わせた2段階の推定モデルを構築し，その有効性を検証した．関連する研究を国際会議RANLP2021で発表した．
（c）議論状態の可視化：議論が現状でどのような状況なのかを分析するための可視化手法について検討し，実装・考察を行った．可視化についてはサークルパッキングとガントチャートを採用し，プロトタイプシステムを構築した．関連する研究を電子情報通信学会HCGシンポジウム2021でインタラクティブ発表（ポスター発表）した．発表内容は当日の投票により学生優秀インタラクティヴ賞を受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
コーパスの拡充や可視化など新しい手法も検討しており，順調に進んでいる．
|
| Strategy for Future Research Activity |
議論状態のさらに深い推定やコーパスの拡充などが今後の課題となる．
|
| Causes of Carryover |
理由：コロナ禍により出張旅費の支出がないため．
使用計画：出張が可能になれば出張旅費として使用する．引き続き出張ができない場合，次の2つの使用方法を計画している．(1)計算機環境の拡充．年を追うごとに機械学習モデルの規模が大きくなり，実装・実行にはGPUが必要になるため．(2)コーパス構築のための謝金．実験や分析を進める上でコーパスの構築やデータセットの作成が必要であり，そのための謝金として利用する．
|
