2023 Fiscal Year Annual Research Report
Automatic evaluation of group discussion based on multi-modal interpretation
| Project/Area Number |
20K12110
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
嶋田 和孝 九州工業大学, 大学院情報工学研究院, 教授 (50346863)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | マルチモーダル / 自然言語処理 / グループディスカッション |
|---|
| Outline of Annual Research Achievements |
複数人による議論は，PBLのような学習の場のみならず，入試などのグループディスカッションでも活用され，教育の中で重要な役割を担っている．一方で，そのような議論を試験として公平にかつ効率的に評価することは難しい．本研究では，議論の流れを言語的な発話内容だけではなく，音声（韻律情報など）や画像（表情やしぐさなど）を踏まえ，マルチモーダルに利用して把握する手法の確立を目指す．
令和5年は以下のような研究を行った．
（a）論理性の検証：ディベートや議論ではその発話の内容の論理性などが問われる場面が多い．そこで，書き言葉ではあるが小論文の論理性などを評価する枠組みを実装し，評価をした．具体的には古典的な特徴量ベースの手法と事前学習モデルBERTとを統合したハイブリッドモデルを提案し，その有効性を確認した．本研究は教育系の国際会議であるAIEDで発表された．
（b）言語現象の分析：対話などで生じる言語現象の一つとして，攻撃的な発言の検出のための基礎的なモデルを構築し，その有効性を検証した．本研究は国際会議IIAIで発表された．
（c）音声データの分析：音声認識を利用すると基本的には認識誤りが生じる．この問題を改善するために，話されている内容に関連したトピック情報を利用し，音声認識結果の訂正を行う手法を提案した．本項に関する研究が国際会議IIAIで発表された．音声による入力の場合，音声認識誤りの他に，フィラーや言い淀みなどの内容には関係ない表現も多く含まれるという問題がある．これらは後段の分析処理でのノイズになりうる．この問題を解決するために言い淀みなどを検出する手法について提案した．本項目に関連する研究が国際会議IIAIで発表された．
|
