Assessment of speech intelligibility in educational environments and its application to support vocal training

• Project/Area Number: 24K06343
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Ritsumeikan University
• Principal Investigator: 福森 隆寛 立命館大学, 情報理工学部, 講師 (60755817)
• Co-Investigator(Kenkyū-buntansha): 高畑 翔吾 滋賀医科大学, 創発的研究センター, 特任助教 (30976783)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2026: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2025: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2024: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
• Keywords: 音声の聴き取りやすさ / 発声訓練支援

Outline of Research at the Start

本研究では，授業支援の基盤技術として，教育現場における音声の聴き取りやすさの評価および発声訓練支援技術を構築する．まず，ノイズのないクリーンな音声の聴取実験および音声認識実験を行い，多種多様な音声特徴量と聴き取りやすさの関係を深層学習でモデル化する．次に，対面授業やオンライン授業で想定される外乱を網羅的に生成し，学習データセットの多様性を大幅向上させることで，授業形態の変化に頑健なモデルへと拡張する．最後に，深層学習フレームワークにおいて評価理由の説明機構を構築し，聴き取りやすさの向上に必要な音声特徴量を可視化する．