深層学習による発声困難者用実時間発話補助技術

• 研究課題/領域番号: 25K03150
• 研究種目: 基盤研究(B)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分61020:ヒューマンインタフェースおよびインタラクション関連; 小区分62040:エンタテインメントおよびゲーム情報学関連; 合同審査対象区分:小区分61020:ヒューマンインタフェースおよびインタラクション関連、小区分62040:エンタテインメントおよびゲーム情報学関連
• 研究機関: 東京大学
• 研究代表者: 暦本 純一 東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)
• 研究期間 (年度): 2025-04-01 – 2028-03-31
• 研究課題ステータス: 交付 (2025年度)
• 配分額: 18,850千円 (直接経費: 14,500千円、間接経費: 4,350千円); 2027年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円); 2026年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2025年度: 9,880千円 (直接経費: 7,600千円、間接経費: 2,280千円)
• キーワード: ヒューマンコンピュータインタラクション / 音声インタラクション / 深層学習

研究開始時の研究の概要

本研究は、声帯ポリープや痙攣性発声障害などによる発声障害者や、声帯を失った人々、聴覚障害者のための深層学習による発声支援技術を開発する。申請者は、かすれ声や囁き声を通常音声に変換できる自己教師型の深層学習モデルを開発している。本研究では、このモデルを発展させ、発声障害者の音声をより自然な形にかつ実時間で復元する音声変換技術を構築し、発声障害者の音声を通常音声に変換する深層学習モデル、特定の言語,発話者に依存しない音声改善, 目的音声を任意の発話者の音声にすることが可能な音声変換,実時間音声変換を実現し、発声困難者の生活利便性を向上させる。