2017 Fiscal Year Annual Research Report
Development of activity sound visualization method for personal evaluation of PBL
| Project/Area Number |
15K01069
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
西村 竜一 和歌山大学, システム工学部, 助教 (00379611)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 直 岡山大学, 自然科学研究科, 助教 (50402467)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 音声情報処理 / PBL / 可視化 / 笑い声 / 環境音 |
|---|
| Outline of Annual Research Achievements |
本研究では、「音」の可視化を基盤技術とし、学生のアクティビティ測定法を提案する。提案法を大学等の高等教育機関で導入が進むPBL(プロジェクト型学習・課題解決型学習)の教育現場で試行することを目指す。
グループワークを記録した音声に対する音声特徴量の抽出と自動分類を試みた。F0やパワーなど、計384次元の特徴を抽出し、昨年度開発した「盛り上がり」のアノテーションシステムで付与したラベルと合わせてデータセットを構築した。音声特徴の分析単位を1秒から10秒まで拡張し、10分割交差検定で精度を確認した。分析単位1秒のときは、0.54だったF-measureが、分析単位を長くすることで0.73まで向上することを確認した。
グループワークに参加する個人の発話を録音するために、ウェアラブルで利用できる音声分類端末を開発した。同端末は、小型コンピュータRaspberry Pi Zero Wで実装されており、ディジタル接続MEMSマイクを搭載する。開発システムは、収録音声の自動分類を実用的な速度で処理し、分類情報を無線LAN経由でサーバに送信できることを確認した。また、サーバに集約された情報を指導者に提示するためのインタフェースを開発した。評価実験の結果、取得情報からグループワークの全体的な盛り上がりとグループワークに参加する個人の積極性を観察できることを確認した。
活動音の可視化のための取り組みとして、人間が感覚的に感じる騒がしさを音の大きさに様々な情報源からの情報を加えることで高精度に推定する方式について検討を行った。DNNを用いて、1秒の音に対する5段階の騒がしさの推定をしたところ、精度はF-measureの平均値で0.5程度であったが、推定結果に基づいて地図上に5段階の騒がしさの可視化をしたところ、可視化した区画のおよそ69%は人間の5段階の感覚と一致していることが示された。
|
