2021 Fiscal Year Research-status Report
協調的ライブ記録が支えるアクティブラーニング＠オンラインの技術研究
| Project/Area Number |
21K12155
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
西村 竜一 和歌山大学, データ・インテリジェンス教育研究部門, 講師 (00379611)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 直 岡山大学, ヘルスシステム統合科学学域, 助教 (50402467)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | アクティブラーニング / オンライン / 音情報処理 / 早口 / 話者匿名化 / 若年話者判別 |
|---|
| Outline of Annual Research Achievements |
本研究では、アクティブラーニングをオンライン展開するために必要となる要素技術開発を行う。特に、グループワークをオンラインで実施することを想定し、学生と学生、学生と指導者、指導者と指導者の間の意思疎通を支援する技術を開発する。
利用者に適応可能なフレキシブルなインタフェースを実現するため、話者判別法の検討を行った。特に、若年話者判別タスクに深層学習を適用し、異なる分類モデルの検証を行った。データセットには、クラウドソーシングで収集したオンライン実環境発話を使用した。
オンラインでの意思疎通の際に、度々問題となる話者の早口の可視化手法を検討した。自動音声認識を応用して、単位時間あたりの発話文字数（発話速度）の計測を試みたが、早口の検出部分と聴講者が早口と感じるタイミングが異なることがあることを確認した。複数の自動音声認識エンジンを併用した実験では、人手で書き起こした正確な場合よりも自動音声認識の出力文字数が少なくなる傾向があった。この減少を早口の可視化のファクタとして利用することを検討した。
音声と映像の併用特徴量を用いて、議論の様子の評価手法を検討した。音と画像を併用することで識別率の改善傾向が得られた。音響信号が取得できない場合でも、画像中の人の動きから判定できることがあることを確認した。多様な情報源から、適切な特徴量を見出す方式について、さらに検討する。
敵対的生成ネットワークを用いた話者匿名化手法の検証を行った。匿名化処理後の音声に対し、自然性と話者認識可能性、話者弁別可能性を調査した。自然性について、従来法と比較してスコアの改善を得た。処理後音声からの話者特定は困難であることを確認した。話者弁別正解率から、処理後音声間の話者弁別は可能であることが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
新型コロナウイルス感染症の影響により、先行する課題であるJP18K02862を1年延長して、本課題と並行して実施することとなった。両課題は、関連する内容であり共通する部分も多いが、切り分けが必要と考えて、結果として本課題に割くことができるリソースが不足することがあった。ただし、実績の概要で報告したように、本課題の達成に必要な要素技術の開発は着実に進めることができており、また、今後は、先行課題で蓄積した知見等を活用して本課題の実施を加速することができるため、今後の研究遂行に支障はないと考える。
|
| Strategy for Future Research Activity |
引き続き、本課題の達成を目指し、次に示すような要素技術開発を中心に研究を進める。
多要素情報記録端末の開発として、深層学習に基づいた音源分離と収録信号の高品質化の技術開発を計画している。同技術を組み合わせたプロトタイプシステムを小型ボードコンピュータ上に実装して、限られたリソースの中での実運用の可能性について検証する。
画像認識を応用し、オンライングループワーク等でのジェスチャー等認識技術を導入し、ワークを補助するメタ情報として認識結果を活用することを検討する。
研究倫理、プライバシー確保の重要性が増していることを受けて、収録音声に対する話者匿名化手法の適切な適用・運用方法を検討する。
|
| Causes of Carryover |
新型コロナウイルス感染症の影響により、先行する課題であるJP18K02862を1年延長して、本課題と並行して実施することとなった。両課題は、関連する内容であり共通する部分も多いが、切り分けが必要と考えて、結果として本課題に割くことができるリソースが不足することがあった。時間制約の結果、本課題による助成金を次年度に繰り越す必要が生じた。本課題の達成に必要な要素技術の開発は着実に進めることができている。先行課題で蓄積した知見等を活用して本課題の実施を加速できると考えるが、同時に、演算用計算機の更新が必要であるため、本研究費によって購入する。
|
