Development of PBL instruction support system to measure learners' activities using acoustic signals

2021 Fiscal Year Final Research Report

• Project/Area Number: 18K02862
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Wakayama University
• Principal Investigator: NISIMURA Ryuichi 和歌山大学, データ・インテリジェンス教育研究部門, 講師 (00379611)
• Co-Investigator(Kenkyū-buntansha): 原 直 岡山大学, ヘルスシステム統合科学研究科, 助教 (50402467)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: グループワーク / PBL / 深層学習 / オンライン授業 / 敵対的生成ネットワーク / 音源分離 / 話者匿名化

Outline of Final Research Achievements

In this study, we developed a technology to realize an instructor support system for group work by applying sound information processing technology. (1) Wearable devices worn by learners were improved by evaluating sound source separation features. (2) Deep learning identification algorithms were developed to visualize the participation attitudes of learners. (3) We developed a group work logging system and a support system for annotating group work participation information. (4) We developed a method for speaker anonymization of recorded group work speech by applying deep learning voice transformation. Due to the impact of the new coronavirus, we had to change our original plan and decided not to continue the face-to-face experiments, but we were able to obtain new knowledge that is useful for online education.

Free Research Field

音情報処理

Academic Significance and Societal Importance of the Research Achievements

大学においてもアクティブラーニングやオンライン教育等の教育手法の導入が求められており、指導者の負担は増加傾向にある。指導者を技術的に支援するシステムの開発は必要である。現状では、実用には至っていないが、必要な要素技術の整理と開発はできており、コロナ禍後の社会や教育現場の動向にも注意しながら、研究を継続する必要があると考える。なお、本研究の成果に対して、筆頭発表の学生が学会賞（DICOMO2020ヤングリサーチャー賞）を受賞している。