2021 Fiscal Year Annual Research Report
Development of PBL instruction support system to measure learners' activities using acoustic signals
| Project/Area Number |
18K02862
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
西村 竜一 和歌山大学, データ・インテリジェンス教育研究部門, 講師 (00379611)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 直 岡山大学, ヘルスシステム統合科学研究科, 助教 (50402467)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 音情報処理 / オンライン授業 / グループワーク / 音源分離 / 敵対的生成ネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、音情報処理の技術を応用し、大学等の高等教育機関で導入が進むPBLの指導者支援システムを開発する。昨年度から引き続き、新型コロナウイルス感染症の影響を受けて、主とする対象をオンラインでの教育環境に条件を変更した上で研究を進めた。
昨年度実施したオンラインのグループワーク実験の結果を踏まえた上で、収録信号に含まれる音源が異なる信号（混合音）の分離手法の適用を試みた。音源分離技術を応用して、生活音に含まれる人間の発話等を抑圧し、環境音を抽出する手法を検討した。音による危険察知や周辺環境理解のためには、収録信号から環境音を抽出する必要がある。しかし、生活音には発話が含まれており、録音信号から環境音を抽出する処理が必要となる。本研究では、「独立成分分析(ICA)」「独立ベクトル分析(IVA)」「独立ベクトル分析の最適化をIP法で行う手法(IVA＋IP)」の各手法を比較した。実験では、実環境の録音信号を分離し、ΔSNRと処理時間を評価した。小型シングルボードコンピュータRaspberry Piで動作する環境音の抽出音システムを実装した．
また、音声と映像を併用した特徴量を用いることで、議論中の学生の様子を評価する方法を検証した。音だけでなく画像を併用することで、識別率の改善の傾向を確認した。しかし、画像を用いたわずかな性能向上の代償として、プライバシーの問題やデータ量の問題などが発生する。
敵対的生成ネットワークに基づく声質変換の応用による話者匿名化手法について、話者の特定に寄与する音響特徴量を実験で検証した。先行研究では変換処理を適用しない非周期性指標が話者特定に与える影響を確認した。スペクトル包絡と比較して非周期性指標は話者特定に与える影響が少ないことを確認した。未知話者音声を入力に用いた場合に不自然な変換結果が得られる問題について、特徴量の変換式を導入した。
|
