| 研究課題/領域番号 |
20H00235
|
|---|
| 研究機関 | 東京農工大学 |
|---|
研究代表者 |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
|---|
| 研究分担者 |
篠田 浩一 東京工業大学, 情報理工学院, 教授 (10343097)
田中 雄一 大阪大学, 大学院工学研究科, 教授 (10547029)
菅野 秀宣 順天堂大学, 医学部, 非常勤講師 (90265992)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | ブレイン・マシン・インタフェース |
|---|
| 研究実績の概要 |
侵襲型ブレイン・マシン・インターフェース（BMI）は、人間の脳から直接音声を伝達するための有望なニューロテクノロジーの一分野であるが、多くの課題を抱えている。本年度は、これまでに16人のてんかん患者から計測した侵襲性皮質電位（ECoG）信号に対して、8つの日本語文章を音読または心の中で読ませた際のECoGから発話内容をデコード（推定）する「sequence-to-sequence」モデルに、Transformerエンコーダ・デコーダを組み込んだ方法を提案し、実際にデコード性能の評価実験を実施した。
脳波のデコードテストの結果、Transformerモデルによるトークン誤り率（TER）の中央値（±標準偏差）は46.3%（±19.4%）であった。このようにTransformerを用いた提案モデルは、従来のBLSTMモデルよりも有意に優れたデコーディング精度を達成した。また、音響特徴（MFCC）の利用によるTransformerエンコーダの学習への貢献度を確認した。その結果、学習段階で使用するMFCCは、必ずしも同期している必要はないことが分かった。
さらに、音読発話のデータで学習したモデルを用いて、心の中の発話をデコードしたところ、TERの中央値は46.3%となり、心の中の発話で学習したモデルのTER（46.6%）と同等の性能が得られた。このことから、音読発話のデータを用いて学習することで、心の中の発話をデコードできる可能性が示唆された。これは、侵襲的BMIの将来的な実現に向けて重要な知見である。
以上の成果は、Scientific Reports誌に採択さた。
|
| 現在までの達成度 (段落) |
令和4年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和4年度が最終年度であるため、記入しない。
|
