2022 Fiscal Year Annual Research Report
Implementation of Intentional BMI through Large-Scale EEG Data and Calibration-Free Model Construction
Project/Area Number |
20H00235
|
Research Institution | Tokyo University of Agriculture and Technology |
Principal Investigator |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
Co-Investigator(Kenkyū-buntansha) |
篠田 浩一 東京工業大学, 情報理工学院, 教授 (10343097)
田中 雄一 大阪大学, 大学院工学研究科, 教授 (10547029)
菅野 秀宣 順天堂大学, 医学部, 非常勤講師 (90265992)
|
Project Period (FY) |
2020-04-01 – 2023-03-31
|
Keywords | ブレイン・マシン・インタフェース |
Outline of Annual Research Achievements |
侵襲型ブレイン・マシン・インターフェース(BMI)は、人間の脳から直接音声を伝達するための有望なニューロテクノロジーの一分野であるが、多くの課題を抱えている。本年度は、これまでに16人のてんかん患者から計測した侵襲性皮質電位(ECoG)信号に対して、8つの日本語文章を音読または心の中で読ませた際のECoGから発話内容をデコード(推定)する「sequence-to-sequence」モデルに、Transformerエンコーダ・デコーダを組み込んだ方法を提案し、実際にデコード性能の評価実験を実施した。 脳波のデコードテストの結果、Transformerモデルによるトークン誤り率(TER)の中央値(±標準偏差)は46.3%(±19.4%)であった。このようにTransformerを用いた提案モデルは、従来のBLSTMモデルよりも有意に優れたデコーディング精度を達成した。また、音響特徴(MFCC)の利用によるTransformerエンコーダの学習への貢献度を確認した。その結果、学習段階で使用するMFCCは、必ずしも同期している必要はないことが分かった。 さらに、音読発話のデータで学習したモデルを用いて、心の中の発話をデコードしたところ、TERの中央値は46.3%となり、心の中の発話で学習したモデルのTER(46.6%)と同等の性能が得られた。このことから、音読発話のデータを用いて学習することで、心の中の発話をデコードできる可能性が示唆された。これは、侵襲的BMIの将来的な実現に向けて重要な知見である。 以上の成果は、Scientific Reports誌に採択さた。
|
Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|