| 研究実績の概要 |
将来の目標システム、サイレントスピーチ（SS）時に計測される脳波から、real timeでＳＳの内容を解読して、日本語で表示するreal-time SSBCIJ（silent speech Brain-Computer Interface in Japanese）の中で、脳波から心の声を解読するために必要な、脳波と音声情報の関係を記述する学習モデルを構築中である。この学習モデルは、認知心理学で知られているself-monitoring（Indefrey and Levelt, 2004）（自身の発話およびサイレントスピーチを知覚・認知することができる）に注目し、この現象を説明し得る生理・心理モデルの一つ、HSFC（hierarchical state feedback control）モデル（Hickok, 2012）のアナロジーから、RNN（recurrent neural network）を採用している。従来から知られているRNNは、①Elman network（Elman, 1990）、②Time-delay neural network（Waibel ela., 1989）、③ESN（echo state network）（Jaeger and Haas, 2004）などである。今年度は、①のElman networkを採用し、ひらがな1文字のdecodingに挑戦した。その際、脳波は、将来の実用化を考慮して、4チャネルのドライ電極で計測され、音声情報は、生の音声信号およびそのスペクトログラムを利用した。その結果、3種類（「あ」、「だ」、「ぱ」）のひらがな1文字の認識率は偶然に比べて有意に高かった。
|
