人間の感覚と整合する音声特徴空間の構築

• Project/Area Number: 22K19793
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Toyohashi University of Technology
• Principal Investigator: 北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)
• Co-Investigator(Kenkyū-buntansha): 入部 百合絵 愛知県立大学, 情報科学部, 准教授 (40397500) ; 西村 良太 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (50635878) ; 太田 健吾 阿南工業高等専門学校, 創造技術工学科, 准教授 (80712801)
• Project Period (FY): 2022-06-30 – 2025-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000); Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000); Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: 音声 / 特徴量 / 距離

Outline of Research at the Start

「人間の感覚と整合する音声特徴空間の構築」を目的とする。例えば、音声合成である人と別の人の中間の声を、その特徴空間での内挿で表現できるような空間である。そのために、音声の主観評価を現実的な量で収集し、主観評価と相関する物理量を推定するモデルをPre-trainingし、最後に主観評価データでFine-tuningする。これは自然言語処理のシンボリックな処理でのPre-trainingとFine-tuningによる特定処理への適応をパターン処理の分野に拡張することになる。