2022 Fiscal Year Annual Research Report
音声想起脳波からの言語表象抽出と音素識別の実証研究
| Project/Area Number |
20K11910
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
新田 恒雄 豊橋技術科学大学, 工学(系)研究科(研究院), シニア研究員 (70314101)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
入部 百合絵 愛知県立大学, 情報科学部, 准教授 (40397500)
田口 亮 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (70508415)
桂田 浩一 東京理科大学, 理工学部情報科学科, 教授 (80324490)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 脳波 / 音声想起 / 線形予測分析 / 音節ラベリング / 母音認識 |
|---|
| Outline of Annual Research Achievements |
音声想起 (speech imagery) 多電極脳波(EEG) 情報に対して，以下の研究開発を行った．
(1) 単音節・単語(数字)・文(筋委縮性側索硬化症(LSA)患者のための10文)などを3名～5名収集した．また日本語アクセント(高低)を変えた単語についても想起データを収集した．
(2) 音声想起信号を対象に，言語情報のエンコーディング過程とデコーディング過程から成る線形予測分析(Linear Predictive Analysis)を導入し，言語表象としての線スペクトラムを抽出した．
(3) 21電極の線スペクトラム系列に対して，pooling 処理により音節ラベリングのためのデータを作成すると共に，目視ラベリングにより57短音節データを抽出してデータベース化した．
(4) 目視ラベリングから得た短音節(CV; C=子音，V=母音)データ区間に対して，主成分分節(PCA)と部分空間法(SM)を繰り返し適用することにより，母音言語表象のための固有空間φ(v, m), v=a, e, i, o, u, m=1, 2, .., 8 を抽出するアルゴリズムを開発した．
(5) 母音固有空間を用いてCV区間から母音線スペクトラムを抽出し，4名の被検者データからCNN (Convo- lutional Neural-network)を学習することにより，未知の1名の母音を識別する実験を行い，72.6% の認識率を達成した．また，母音言語表象抽出と母音認識の結果をNature Publishing Group (NPG) の Frontiers誌へ投稿した．
|
