|
本研究では、音声と画像を用いるマルチモーダル音声認識において、その要素技術や処理を環境やタスクに応じて最適化する手法の確立を目指した。異なる基本特徴を組み合わせ深層学習を適用することの有効性、音声・画像統合法の最適形態と認識モデルの確率的統合法の有用性、および個人・環境適応の改善による性能改善を確認し、これらにより、頑健かつ高性能なマルチモーダル認識アルゴリズムを構築した。本研究によるマルチモーダル音声認識を多種多様なタスク・環境において試用し、性能を確認するとともに、今後に向けた課題を明らかにした。
|
