Study on linguistic representation and identification of phones from speech imagery EEG.
| Project/Area Number |
20K11910
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
Nitta Tsuneo 豊橋技術科学大学, 工学(系)研究科(研究院), シニア研究員 (70314101)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
入部 百合絵 愛知県立大学, 情報科学部, 准教授 (40397500)
田口 亮 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (70508415)
桂田 浩一 東京理科大学, 理工学部情報科学科, 教授 (80324490)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 脳波 / 音声想起 / 線形予測分析 / 音節ラベリング / 音素認識 / 母音認識 / 音節ラベリングツール / 分節情報抽出 / 超分節情報抽出 / 想起音節の認識 / 脳コンピュータインターフェース / 音声言語認識 / 脳センサー |
|---|
| Outline of Research at the Start |
ALS(筋委縮性側索硬化症)等の疾病により，コミュニケーション手段を持たない患者が増えている(国内で1万人，世界では35万人)．脳のブローカ野は，発話に必要な音声言語情報を運動野へ伝える機能を持つが，発音器官を動かすことなく音声を想起する際も，この音声言語情報は観測される．本研究では，音声想起を利用する脳コンピュータインタフェース(BCI)が実現可能なことを実証する．注力テーマは次の三つである．(1)脳波から想起内容の特徴(言語表象)を抽出する，(2)想起内容が既知の脳波に対して，音素/音節のラベル付けを支援するツールを開発する，(3)想起単語/文に対する認識実験から，音声想起BCIの可能性を示す．
|
| Outline of Final Research Achievements |
Speech imagery recognition from electroencephalograms (EEGs) could potentially become a strong contender among non-invasive brain-computer interfaces Is). We extract language representations as the difference of line-spectra of phones by analyzing many EEG signals from the Broca area. Then we extract vowels by using iterative search from hand-labelled short-syllable data. The iterative search process consists of principal component analysis (PCA) that visualizes linguistic representation of vowels through eigen-vectors φ(m), and subspace method (SM) that searches an optimum line-spectrum for redesigning φ(m). The extracted linguistic representation of Japanese vowels /i/ /e/ /a/ /o/ /u/ shows 2 distinguished spectral peaks (P1, P2) in the upper frequency range. The 5 vowels are aligned on the P1-P2 chart. The experiment of 5-vowel recognition is conducted using a data set of 5 subjects and the classifier based on convolutional neural network (CNN) shows 72.6% in average.
|
| Academic Significance and Societal Importance of the Research Achievements |
BCI研究は運動制御等の分野に限られてきたが，今回，音声言語を利用することが初めて可能になった．今回は5母音に限られているが，子音の言語表象が見出されると，脳波によるタイプライターを実現できる．この技術は ，近い将来，ALS患者ほかの方達にとって，生活の質(QoL)を格段に向上するものと期待している．
|
Report
(4 results)
Research Products
(13 results)
