Establishment of next-generation communication using non-invasive EEG-based linguistic and non-linguistic speech synthesis

• Project/Area Number: 24H00715
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: The University of Electro-Communications
• Principal Investigator: 中鹿 亘 電気通信大学, 大学院情報理工学研究科, 准教授 (90749920)
• Co-Investigator(Kenkyū-buntansha): 吉村 奈津江 東京科学大学, 情報理工学院, 教授 (00581315) ; 岸田 拓也 愛知淑徳大学, 人間情報学部, 助教 (80827907)
• Project Period (FY): 2024-04-01 – 2029-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥47,840,000 (Direct Cost: ¥36,800,000、Indirect Cost: ¥11,040,000); Fiscal Year 2026: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000); Fiscal Year 2025: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000); Fiscal Year 2024: ¥12,740,000 (Direct Cost: ¥9,800,000、Indirect Cost: ¥2,940,000)
• Keywords: 音声合成 / ブレイン・マシン・インターフェース / 機械学習 / ブレイン・マシン・インタフェース / EEG / 非言語音声

Outline of Research at the Start

音声発話が困難な人、状況でも、円滑なコミュニケーションを実現するために、脳活動から言語情報を読み取ろうとする試みがあるが、言語情報だけでなく、非言語情報も伝えることができるような音声を非侵襲な方法で測定した脳波 (EEG) から合成することは未だ成功していない。本研究では、大量の脳波データを独自に収集し、最先端の音声合成や機械学習手法を応用することで、EEGから直接音声合成することを試みる。さらに、我々がこれまで培ってきた非言語音声技術を用いることでEEGから個人性、基本感情などの範疇的に表現できる非言語情報の抽出を試みる。これにより脳波を用いた次世代コミュニケーション技術の確立に貢献する。