2019 Fiscal Year Research-status Report
音響信号から学修者の活性度を測るPBL指導支援システムの開発
| Project/Area Number |
18K02862
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
西村 竜一 和歌山大学, データ・インテリジェンス教育研究部門, 講師 (00379611)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 直 岡山大学, ヘルスシステム統合科学研究科, 助教 (50402467)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 音情報処理 / PBL / アノテーション / 敵対的生成ネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、音情報処理の技術を応用し、大学等の高等教育機関で導入が進むPBLの指導者支援システムを開発する。
学修者の活性度抽出アルゴリズムの一部として、CNN Autoencoderによる音分類方式の検討を進めた。特に、収録環境の異なる2つのコーパスを用いた実験により、単に両者を混ぜたコーパスからモデル学習をするのではなく、Autoencoderによる特徴量抽出を介することで、より高い分類性能を持つモデルを学習できることを示した。画像と音声を含む会議データを収録し、その画像としての特徴と音声としての特徴を併用することで、会議参加者の発話意図の推定や参加姿勢の良し悪しを推定する検討を行った。
PBLのデータ取集と協調的アノテーションの実現の取り組みとして、グループワークに取り組む学生個々の参加情報記録システムを開発した。システムでは，指導者がタブレット端末に提示された学生の顔画像をタッチ操作することで、その学生のグループワークへの参加状況を記録することが可能である。本研究では、発言や相槌の回数、グループワークに対する貢献度を記録できるインタフェースを設計した。システムで提示する顔画像は、360度全方位の撮影が可能なビデオカメラで撮影したパノラマ画像から抽出する。実験では、協力者に依頼し、実際のグループワークを撮影した。また、データの利活用を円滑にするため、音声を匿名化する声質変換システムの開発を行った。提案システムは、(a) マイクロホンアレイを用いた対話音声の収録 (b) 各話者の音声に含まれる特徴量の抽出 (c) 深層学習による音声の声質変換を実現する。(c)では、ニューラルネットワークに基づいた敵対的生成ネットワークのアルゴリズムであるCycle-Consistent Adversarial Networksを用いた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の研究実績の概要で示したように、当初予定していたアルゴリズム及びシステムの開発は着実に進んでいる。CNN AutoencoderやGAN等の深層学習アルゴリズムの検討が進んでいる。今年度からは、収録データを利活用する上で必要となる音声匿名化処理に関する検討を加えた。データのアノテーションシステムの一部として、360度カメラを導入した。PBLの記録及び画像データの抽出に360度画像を利用することで、PBLのような複雑な状況下においても、音響信号と画像を複合的に利用することが可能になった。一方で、本年度末に発生した新型コロナウィルス感染症の影響があり、実験協力者を募った比較的規模の大きい実験や研究成果の対外発表を実行することができなかった。
|
| Strategy for Future Research Activity |
引き続き、アルゴリズムとシステム開発を進める。新型コロナウィルス感染症の対策をした上で、提案システムを大学の教育現場でフィールドテストし、本研究の有用性を評価する。また、開発したアノテーションシステムの実用度を向上させて、フィールドテストで収集するPBL活動の記録データを整理する。
|
| Causes of Carryover |
新型コロナウィルス感染症対策のため、実験協力者を募った実験等を実施することができなかった。また、研究成果の発表を予定していた学会等が中止となった。2020年度は提案システムの学校教育現場でのフィールドテスト等を計画しており、その実施に必要な経費として使用する。
|
