2018 Fiscal Year Research-status Report
音響信号から学修者の活性度を測るPBL指導支援システムの開発
| Project/Area Number |
18K02862
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
西村 竜一 和歌山大学, システム工学部, 助教 (00379611)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 直 岡山大学, 自然科学研究科, 助教 (50402467)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 音情報処理 / 機械学習 / PBL / 敵対的生成ネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、音情報処理の技術を応用し、大学等の高等教育機関で導入が進むPBL（Project-Based Learning; 課題解決型・プロジェクト型学習）の指導者支援システムを開発する。学修者が発生した音（活動音）を小型コンピュータで収録し、音声認識を応用した機械学習アルゴリズムによって分析する。2018年度の実施項目は以下の通りである。
(1) 学修者が装着するウェアラブルデバイスの開発を進めた。同デバイスに対して、複数のマイクロフォンの搭載を検討した。また、シングルボード小型コンピュータ（Raspberry Pi）を学修者が服の上に直接装着するためのデザインを検討した。
(2) 敵対的生成ネットワーク（GAN）を用いた音響信号の識別アルゴリズムの検討を行った。その際、比較的量が少ない訓練データを用いた統計モデルの学習手法を検討した。音響信号から抽出した特徴量を訓練データに用いてモデルを学習する。そのモデルから出力した疑似的な生成特徴量を実特徴量に加える。学習モデルを用いた深層学習型ニューラルネットワークによって自動推定する。以上の方法によって推定正解率の向上を確認した。
(3) 屋外収録の環境音データベースの推定実験を行った。収音者が収音中に感じていた主観的な騒音度合いを音の大きさと様々な情報源を組み合わせながら推定する手法を検証した。その結果、ロジスティック回帰分類器ではデータ数によらない均一な推定精度が得られることを示した。
(4) 英語のPBL授業を360度カメラによって撮影し、記録動画と音声を用いた学修者の評価について検討を始めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画で示した提案手法を大学の教育現場で試行するために必要なシステム開発は着実に進んでいる。また、従来の深層学習型ニューラルネットワーク（DNN）を敵対的生成ネットワーク（GAN）に拡張する等、システム内部に利用できるアルゴリズムの検討も進んでいる。当初の予定にはなかったが、360度カメラで記録した動画をPBL授業の分析に利用するための準備を進めた。音響信号と併用することで、提案システムの有効性を高めることができる見込みである。
以上から、本研究は、おおむね順調に進展していると考える。
|
| Strategy for Future Research Activity |
(1) 本研究での開発デバイスに対して、複数マイクロフォンを搭載するための知見を得ることができたが、応用及び実践の段階に必要な検証は不十分である。システムの完成度向上のための実装・検証を続ける。
(2) 音響信号の識別アルゴリズムに敵対的生成ネットワーク（GAN）を利用することは精度向上において有効である。同様の結果は、我々が実施した研究以外においても報告がなされている。しかしながら、モデル構築等に必要な計算量が膨大となるデメリットがあり、本研究での応用を考えたとき、必ずしも最適ではない。他の手法も加えて検討を続ける。
(3) 環境音識別においては、音にその他の情報源を組みこんだ主観的な量の推定方式について、およその性能が示されたため、深層学習による分類方式等を導入し、学習者の活性度の推定タスクを実施する。
(4) 360度カメラで撮影した動画はPBLの活動内容を記録する上で有益であることを確認した。音響信号と組み合わせた360度動画のアノテーション及び自動識別の応用を検討する。
|
| Causes of Carryover |
高速データ処理用のGPU（Graphics Processing Unit）搭載計算機を導入予定であったが、昨年度までに導入した既存の計算機で当面の研究を進めることができたため、今年度の購入を見送った。研究に使用されるようなGPUは、毎年新しい機種がリリースされており、値段が上昇する傾向にあるため、その購入費用に充てる予定である。
|
