2020 Fiscal Year Annual Research Report
Implementation of Intentional BMI through Large-Scale EEG Data and Calibration-Free Model Construction
| Project/Area Number |
20H00235
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
篠田 浩一 東京工業大学, 情報理工学院, 教授 (10343097)
田中 雄一 東京農工大学, 工学(系)研究科(研究院), 准教授 (10547029)
菅野 秀宣 順天堂大学, 医学部, 先任准教授 (90265992)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ブレインマシンインタフェース |
|---|
| Outline of Annual Research Achievements |
近年の信号処理・機械学習技術の進展によって，発声時や傾聴時の音声を頭蓋内脳波から推定したり再構成することが可能になりつつある．一方で，想像している発話の推定は，脳波と正解ラベルの同期を取るのが困難であることもあり，めぼしい成果が出ていないのが現状である．本年度は，想像音声と脳波が適切に同期していれば，発声や傾聴時脳波の場合と同様に，脳波から音声をデコーディングできるという仮説を立て、研究を実施した．
実験参加者は聴覚および視覚に問題なく，てんかん治療のため頭蓋内に電極を留置した男性4名（s1, s5, s6, s8），女性4名（s2, s3, s4, s7）であった．実験前には実験前には共同研究機関である順天堂大学医学部附属順天堂医院の承認に基づいて，実験参加者からインフォームドコンセントを得た.ECoG測定の電極には，てんかん治療のため頭蓋内に留置した頭蓋内電極を使用した．ECoGを測定する時のGNDは硬膜外電極とした．まず，短い文が映し出された画面を実験参加者に呈示し，文字の色を１文字ずつハイライトすることで，想像時のタイミングや想像速度を制御できる実験を設計した．その上で，音声想像，音声傾聴，発声の3種類タスクを課し，そのときの頭蓋内脳波を記録した．さらに，傾聴タスクでは呈示した音声，発声タスクでは実験参加者の発話を記録した．計測した頭蓋内脳波に対して，発声または傾聴時の音声のメルケプストラム係数をもちいたエンコーダ・デコーダモデルによって，想像音声を学習・推論した．想像時の頭蓋内脳波からデコーディングした文の文字誤り率は，最良で約17%を達成した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究は、頭蓋内に電極を留置する手術を必要とするため、新型コロナ感染症による医療体制の影響を受けている。実際にデータを測定できた患者の数は4例に留まっている。
|
| Strategy for Future Research Activity |
ECoG のような時系列信号のモデル化する deep learning 技術の一つが recurrent neural network（RNN）である。Sun ら はlong short-term memory（LSTM）RNN モデルと connectionist temporal classification デコーダ を組み合わせて発声，想像タスクにおいて，文単位でテキストをデコードした．Makin らは，bidirectional LSTM（BLSTM）を用いたエンコーダとデコーダからなる sequence-to-sequence（Seq2seq）モデル（BLSTM Seq2seq）を発声タスクに適用し，高い精度でのデコーディングを達成した．2020年度に用いたテキストデコーディングのための機械学習モデルは、このMakinらの方法に基づいている。
しかしながら、一般に LSTM において，入出力系列間の長期的な依存関係の学習に欠点があることが知られている．
そこで，今後は，長期的な依存関係を学習し，自然言語処理や音声認識で成功を収めている Transformer が ECoG からのテキストデコーディングにも効果的に機能するとの仮説を立て、より多くのデータを用いて Transformer によるデコーディングを試みていく。さらに、MFCC から直接合成音声をデコードする方法も試みる。
|
