Development of a foundation model for processing various dialects that enables analysis and retrieval of dialect speech data

• Project/Area Number: 24K00450
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Shizuoka University
• Principal Investigator: 甲斐 充彦 静岡大学, 工学部, 准教授 (60283496)
• Co-Investigator(Kenkyū-buntansha): 中川 聖一 中部大学, 工学部, 客員教授 (20115893) ; 小林 彰夫 大和大学, 情報学部, 教授 (10741168) ; 岡久 太郎 静岡大学, 情報学部, 助教 (50973848) ; ナハル ラウフン 阿南工業高等専門学校, 創造技術工学科, 特命助教 (31004583)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000); Fiscal Year 2026: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2025: ¥8,320,000 (Direct Cost: ¥6,400,000、Indirect Cost: ¥1,920,000); Fiscal Year 2024: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
• Keywords: 音声言語モデル / 基盤モデル / 諸方言 / 音声検索 / 長期収録

Outline of Research at the Start

日本の方言の話し言葉の文字化資料は限定的であり、標準語のように一貫した書き起こしが難しい課題がある。本研究では、諸方言の音声メディアに対して分析・検索しやすい仕組みを実現するため、アクセントと標準語単語の推論を含む諸方言に普遍な音声言語処理の基盤モデルを構築し、内容検索とラベリング支援を行う仕組みを開発する。また、方言音声の収集では録音品質が本質的に不均一となりやすいため、TVメディアやオンライン会議等のデータを継続的に拡充し、録音品質の多様性を含むデータを用いて基盤モデル構築を改善する。このように構築した諸方言に普遍な音声言語処理基盤モデルを利用して方言特徴分析への応用可能性を検証する。