2021 Fiscal Year Research-status Report
Realization of High-speed Character Input by EEG Discrimination Using Deep Learning and Visual Feedback
| Project/Area Number |
19K12077
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
深見 忠典 山形大学, 大学院理工学研究科, 教授 (70333987)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | BCI / 脳波 / 文字入力 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
脳波を用いて計算機に文字入力を行うブレインコンピュータインタフェース(BCI)の研究において，ディスプレイ上に呈示される複数の候補文字から入力文字（標的文字）を特定する技術は，様々な用途に利用可能なBCIの一基盤技術である。本研究では，P300と呼ばれる脳波成分を用いる。P300は能動的なタスク実行によるユーザの意思を反映した反応であるが，その出現はユーザの状態（疲労等）に左右され，振幅や出現までの時間（潜時）に揺らぎを生ずる。そこで，変動成分を含んだ脳波を深層学習により学習することに加え，計測段階で変動成分を抑制するための計算機内部の各文字の評価値を反映した文字呈示により，性能向上を目指す。本年度は，特に深層学習における性能向上を目指し，重点的に研究を実施した。ここで，深層学習による学習に膨大なデータを必要とするが，我々の研究室における実験で大量のデータを収集するには，時間的・労力的に限界がある。そこで，健常例を対象とした聴覚誘発電位検査において得られたデータを用いる。この検査は聴覚刺激による二種類の音の弁別検査であるが本実験と類似の形状を有するP300が出現する。これらを畳み込みニューラルネットワーク(CNN)を基盤とするEEGNetで学習し，その学習済ネットワークを本実験で得られた応答波形で再学習する転移学習により分類を行った。その結果，従来のP300振幅に基づく手法に比べて8.98%の文字入力精度の向上が認められた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
今年度は，新型コロナ感染症の影響もあり，被験者を用いた実験を最小限にとどめた。これにより，十分なデータを用いた解析による評価を行うことができなかった。しかしながら，少数ではあるが，計測済みのデータを用いて，従来のP300振幅に基づく文字判別方法よりも転移学習による判別を行うことで，入力精度が向上することを確認できた。
|
| Strategy for Future Research Activity |
今年度の研究では，健常例の聴覚誘発電位の検査データを用いて学習を行い，それによって得られた学習済ネットワークを用いる転移学習により文字判別を試みた。これにより，従来のP300振幅による文字判別方法よりも高精度の結果を得た。しかしながら，検査データのP300と本実験により得られるP300の潜時に若干のずれが見られた。よって，潜時を補正することで，より判別精度を向上できるのではないかと考えており，引き続き研究を進める。今後の研究により，転移学習による文字判別手法を確立できれば，脳波計測と合わせることで一つのシステムとして完成するものと考えている。
|
| Causes of Carryover |
今年度は，十分な脳波データの取得ができず，判別精度の評価も十分行うことができなかった。よって，学会への参加の機会が少なくなり，学会参加費や旅費のための使用が少額とななった。また，執筆予定であった学術論文も執筆できず，英文添削や投稿料に使用する予定であった予算が未使用となった。次年度は，最終年度であるため，データ取得を重点的に行い，学会発表や学術論文による発表といった成果を創出するために使用したい。
|
