2016 Fiscal Year Research-status Report
単一試行脳波を利用したサイレントスピーチ認識システム－連続音声認識への拡張－
| Project/Area Number |
15K00276
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
山崎 敏正 九州工業大学, 大学院情報工学研究院, 教授 (50392163)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井上 勝裕 九州工業大学, 大学院情報工学研究院, 教授 (00150516) [Withdrawn]
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 脳波 / SSBCIJ / self monitoring / RNN / Elman network |
|---|
| Outline of Annual Research Achievements |
将来の目標システム、サイレントスピーチ（SS）時に計測される脳波から、real timeでＳＳの内容を解読して、日本語で表示するreal-time SSBCIJ（silent speech Brain-Computer Interface in Japanese）の中で、脳波から心の声を解読するために必要な、脳波と音声情報の関係を記述する学習モデルを構築中である。この学習モデルは、認知心理学で知られているself-monitoring（Indefrey and Levelt, 2004）（自身の発話およびサイレントスピーチを知覚・認知することができる）に注目し、この現象を説明し得る生理・心理モデルの一つ、HSFC（hierarchical state feedback control）モデル（Hickok, 2012）のアナロジーから、RNN（recurrent neural network）を採用している。従来から知られているRNNは、①Elman network（Elman, 1990）、②Time-delay neural network（Waibel ela., 1989）、③ESN（echo state network）（Jaeger and Haas, 2004）などである。今年度は、①のElman networkを採用し、ひらがな1文字のdecodingに挑戦した。その際、脳波は、将来の実用化を考慮して、4チャネルのドライ電極で計測され、音声情報は、生の音声信号およびそのスペクトログラムを利用した。その結果、3種類（「あ」、「だ」、「ぱ」）のひらがな1文字の認識率は偶然に比べて有意に高かった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
まだ文字数は少ないが、当初の連続2文字に比べて、今年度の学習モデルは、ひらがな50音すべてを網羅する能力を秘めており、実用化がかなり見えてきた研究成果になっている。
|
| Strategy for Future Research Activity |
SSBCIJの学習モデルとして、他のRNN、特に、Time-delay neural networkとESNを利用する。更に、脳波データのreal time処理の方法を検討する。そのために、健常者の脳波データ（発話とサイレントスピーチ）を大量に収集する。
|
