2022 Fiscal Year Annual Research Report
Implementation of Intentional BMI through Large-Scale EEG Data and Calibration-Free Model Construction
| Project/Area Number |
20H00235
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
篠田 浩一 東京工業大学, 情報理工学院, 教授 (10343097)
田中 雄一 大阪大学, 大学院工学研究科, 教授 (10547029)
菅野 秀宣 順天堂大学, 医学部, 非常勤講師 (90265992)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ブレイン・マシン・インタフェース |
|---|
| Outline of Annual Research Achievements |
侵襲型ブレイン・マシン・インターフェース（BMI）は、人間の脳から直接音声を伝達するための有望なニューロテクノロジーの一分野であるが、多くの課題を抱えている。本年度は、これまでに16人のてんかん患者から計測した侵襲性皮質電位（ECoG）信号に対して、8つの日本語文章を音読または心の中で読ませた際のECoGから発話内容をデコード（推定）する「sequence-to-sequence」モデルに、Transformerエンコーダ・デコーダを組み込んだ方法を提案し、実際にデコード性能の評価実験を実施した。
脳波のデコードテストの結果、Transformerモデルによるトークン誤り率（TER）の中央値（±標準偏差）は46.3%（±19.4%）であった。このようにTransformerを用いた提案モデルは、従来のBLSTMモデルよりも有意に優れたデコーディング精度を達成した。また、音響特徴（MFCC）の利用によるTransformerエンコーダの学習への貢献度を確認した。その結果、学習段階で使用するMFCCは、必ずしも同期している必要はないことが分かった。
さらに、音読発話のデータで学習したモデルを用いて、心の中の発話をデコードしたところ、TERの中央値は46.3%となり、心の中の発話で学習したモデルのTER（46.6%）と同等の性能が得られた。このことから、音読発話のデータを用いて学習することで、心の中の発話をデコードできる可能性が示唆された。これは、侵襲的BMIの将来的な実現に向けて重要な知見である。
以上の成果は、Scientific Reports誌に採択さた。
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
