2022 Fiscal Year Research-status Report
Automatic evaluation of group discussion based on multi-modal interpretation
| Project/Area Number |
20K12110
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
嶋田 和孝 九州工業大学, 大学院情報工学研究院, 教授 (50346863)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | マルチモーダル / 自然言語処理 / グループディスカッション |
|---|
| Outline of Annual Research Achievements |
複数人による議論は，PBLのような学習の場のみならず，入試などのグループディスカッションでも活用され，教育の中で重要な役割を担っている．一方で，そのような議論を試験として公平にかつ効率的に評価することは難しい．本研究では，議論の流れを言語的な発話内容だけではなく，音声（韻律情報など）や画像（表情やしぐさなど）を踏まえ，マルチモーダルに利用して把握する手法の確立を目指す．
令和4年は以下のような研究を行った．
（a）ディベートのマルチモーダル評価：2人1組による2対2のディベート（Kyutechディベートコーパス）を対象に，書き起こしテキスト・音声情報・画像情報を統合的に扱うマルチモーダルな深層学習モデルを適用し，その有効性を検証した．本研究は国際会議（PACLIC36, 2022）で発表された．
（b）言語現象の分析：対話などで生じる言語現象の一つとして，攻撃的な発言の検出のための基礎的なモデルを構築し，その有効性を検証した．本研究は国際会議IIAI2022で発表された．また，対話でのトピック推定や談話行為推定のモデルについても研究をし，学会発表を行った．
（c）音声データの分析：人間の対話では，フィラーや言い淀みなどの内容には関係ない表現も多く含まれる．音声データを音声認識器で書き起こすとこの冗長な情報がそのまま結果として残ってしまい，分析などの際にノイズとなる．この問題を解決するために音声認識結果に含まれる言い淀みなどを検出する手法について提案した．関連する研究が電子情報通信学会九州支部学生会講演会や電子情報通信学会NLC研究会で発表された．九州支部学生会講演会では奨励賞を受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題の主眼である「マルチモーダル情報理解」の一部を実現し，その有効性が検証できている．
|
| Strategy for Future Research Activity |
様々なデータセットに対して，その質の評価を継続的に行う．
|
| Causes of Carryover |
理由：コロナ禍により出張旅費の支出が当初予定より少ないため．対面の会議が増えてきており，次年度の国際会議での発表などに利用する．
|
