2020 Fiscal Year Research-status Report
音響信号から学修者の活性度を測るPBL指導支援システムの開発
| Project/Area Number |
18K02862
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
西村 竜一 和歌山大学, データ・インテリジェンス教育研究部門, 講師 (00379611)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 直 岡山大学, ヘルスシステム統合科学研究科, 助教 (50402467)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 音情報処理 / グループワーク / 音声匿名化 / 敵対的生成ネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、音情報処理の技術を応用し、大学等の高等教育機関で導入が進むPBLの指導者支援システムを開発する。今年度は、新型コロナウイルス感染症の影響が大きく、環境・条件は限られたものとなったが、会議・グループワークの実験を通じた検証を進めた。
オンライン（同時双方向型）のビデオ会議システムを用いたグループワーク実験を行い、グループワークに取り組む学生個々の参加情報を記録するシステムの改良・評価を進めた。提案システムでは、指導者がタブレット端末に提示された学生の顔画像をタッチ操作することで、その学生のグループワークへの参加状況を記録することが可能である。改良システムでは、(1) グループ内での役割や要注意行動等を定義し、それらを記録できるマーカ機能を実装した。(2) 同時並行的に実施される複数のグループワークの参加情報を一括して記録できるタブ機能を実装した。
グループワークのデータ利活用を円滑にすることを目的に開発を進めている、音声匿名化のための声質変換システムの改良を行った。パラメータ変換に用いる敵対的生成ネットワーク（GAN）のアルゴリズムを検討するとともに、パラメータを構成する音響特徴量の再検討を行い、成果を対外発表した（FIT2020, IPSJ全国大会）。
学習者の活性度を可視化するために、機械学習のアプローチを用いて、音声と映像を併用した議論への関与姿勢の分類タスクに取り組み、その成果を対外発表した（DICOMO2020, ヤングリサーチャー賞）。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウイルス感染症の影響を受けて、本研究が対象とする対面によるグループワークを実施することが困難になった。グループワークでは、対面で人と人が積極的に会話・議論をすることが求められるため、いわゆる三密の状態になりやすい。感染症対策を講じた上で実験は継続しているが、完全な予防は難しく、感染リスクを伴うため、内容・規模は限定的なものになっている。一方で、あらたにオンライン（同時双方向型）のビデオ会議システムを用いたグループワーク実験を開始している。従来の計画では想定していなかった新しい知見を得ることにも成功しており、今後の発展に結び付けたいと考えている。
|
| Strategy for Future Research Activity |
本研究は、対面による学生同士のグループワークを扱うことがテーマであるため、新型コロナウイルス感染症の影響は大きく、特に、計画をしていたグループワーク実験の実施は十分ではない。このため、本研究の事業期間を１年間延長した（申請・承認済）。基本的には、新型コロナウイルス感染症の状況を常に確認し、万全な感染症対策を講じながら、対面での実施を継続したいと考えている（現在、本学では学生のキャンパス立入が禁止されているため、解除されてからの実施となる）。また、オンライン技術を活用しながら、要素技術やアルゴリズムの開発・改良に必要なデータを取得する予定である。
音声匿名化技術においては、これまでの成果であるアルゴリズム・パラメータ構成の知見に基づき手法を整備し、オンライン技術も活用しながら評価・検証を進める予定である。
深層学習による音源の分類方法を加えて、学習者の活性度の可視化においては、評価観点の詳細化や各評価観点の推定における精度向上のためのアルゴリズムを検討する。
|
| Causes of Carryover |
新型コロナウィルス感染症対策のため、実験協力者を募った対面での実験を実施することができなかった。そのため、本研究の事業期間延長を１年間延長した。2021年度は、オンライン技術も活用しながら実験を行い、必要なデータの収集を行う予定である。
|
| Remarks |
受賞（国内1件）
金岡 翼，DICOMO2020 ヤングリサーチャー賞，June 26, 2020.
（2020年6月 マルチメディア、分散、協調とモバイル(DICOMO2020)シンポジウムにおける発表に関して）
|
