Automatic evaluation of group discussion based on multi-modal interpretation
Project/Area Number |
20K12110
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 62030:Learning support system-related
|
Research Institution | Kyushu Institute of Technology |
Principal Investigator |
嶋田 和孝 九州工業大学, 大学院情報工学研究院, 教授 (50346863)
|
Project Period (FY) |
2020-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
Keywords | マルチモーダル / 自然言語処理 / グループディスカッション |
Outline of Research at the Start |
複数人による議論は,PBLのような学習の場のみならず,入試などのグループディスカッションでも活用され,教育の中で重要な役割を担っている.一方で,そのような議論を試験として公平にかつ効率的に評価することは難しい.本研究では,議論の流れを言語的な発話内容だけではなく,音声(韻律情報など)や画像(表情やしぐさなど)を踏まえ,マルチモーダルに利用して把握する手法の確立を目指す.得られた議論状態に基づき複数の評価の観点(軸)を対象とした議論評価システムの構築を進める.また,単に評価軸の可視化のみならず,それを言語的に説明する評価レポートの自動作成も試みる.
|
Outline of Annual Research Achievements |
複数人による議論は,PBLのような学習の場のみならず,入試などのグループディスカッションでも活用され,教育の中で重要な役割を担っている.一方で,そのような議論を試験として公平にかつ効率的に評価することは難しい.本研究では,議論の流れを言語的な発話内容だけではなく,音声(韻律情報など)や画像(表情やしぐさなど)を踏まえ,マルチモーダルに利用して把握する手法の確立を目指す. 令和4年は以下のような研究を行った. (a)ディベートのマルチモーダル評価:2人1組による2対2のディベート(Kyutechディベートコーパス)を対象に,書き起こしテキスト・音声情報・画像情報を統合的に扱うマルチモーダルな深層学習モデルを適用し,その有効性を検証した.本研究は国際会議(PACLIC36, 2022)で発表された. (b)言語現象の分析:対話などで生じる言語現象の一つとして,攻撃的な発言の検出のための基礎的なモデルを構築し,その有効性を検証した.本研究は国際会議IIAI2022で発表された.また,対話でのトピック推定や談話行為推定のモデルについても研究をし,学会発表を行った. (c)音声データの分析:人間の対話では,フィラーや言い淀みなどの内容には関係ない表現も多く含まれる.音声データを音声認識器で書き起こすとこの冗長な情報がそのまま結果として残ってしまい,分析などの際にノイズとなる.この問題を解決するために音声認識結果に含まれる言い淀みなどを検出する手法について提案した.関連する研究が電子情報通信学会九州支部学生会講演会や電子情報通信学会NLC研究会で発表された.九州支部学生会講演会では奨励賞を受賞した.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題の主眼である「マルチモーダル情報理解」の一部を実現し,その有効性が検証できている.
|
Strategy for Future Research Activity |
様々なデータセットに対して,その質の評価を継続的に行う.
|
Report
(3 results)
Research Products
(21 results)