Data-driven, user-centered approach to creating movie audio descriptions for people with visual disabilities

• Project/Area Number: 25K15400
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62040:Entertainment and game informatics-related
• Research Institution: Akita University
• Principal Investigator: 中島 佐和子 秋田大学, 情報データ科学部, 准教授 (40453542)
• Co-Investigator(Kenkyū-buntansha): 大河内 直之 東京大学, 先端科学技術研究センター, 特任研究員 (30361679) ; 水戸部 一孝 秋田大学, 情報データ科学部, 教授 (60282159)
• Project Period (FY): 2025-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2027: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2026: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2025: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: 視覚障害 / 音声ガイド / 映画・映像 / 音声合成 / アクセシビリティ

Outline of Research at the Start

視覚障害者の映画鑑賞において音声ガイドは欠かせない．制作コスト削減のため，音声合成や機械学習を用いた音声ガイドの自動生成技術の研究開発が進んでいるが，人手により制作される音声ガイドとの質の差は大きく，実用的な段階にない．本研究では，合成音声の音声パラメタ調整ツールの開発，および，プロの音声ガイド制作者の技巧を音声ガイド自動生成または自動調整に組み込むことを検討し，視覚障害者と音声ガイド制作者双方の当事者視点の導入を目指す．コスト削減しても質の高い音声ガイド制作技術を開発すると同時に，新たな音声表現の開拓を通じて言語や音声のポテンシャルを最大限に引き出し，次世代のメディア環境の構築に繋げる．