2023 Fiscal Year Research-status Report

Interface system liberating expression of intention from motor and visual functions

Research Project

Project/Area Number	23K03867
Research Institution	Yamaguchi University
Principal Investigator	西藤聖二山口大学, 大学院創成科学研究科, 准教授 (60253168)
Project Period (FY)	2023-04-01 – 2026-03-31
Keywords	ブレインコンピュータインターフェース / 脳波 / SSSEP / ASSR / α波 / マルチクラス / マルチモーダル / 確率共鳴
Outline of Annual Research Achievements	ブレインコンピュータインターフェース (BCI) は意思による脳信号の変化によってコミュニケーションを行うシステムである全身マヒ患者の意思伝達手段の他、リハビリ等への多様な応用が期待されている。本研究では従来のBCIの課題を解決すべく、疲労が少なく訓練不要で長期間利用できる多クラス非視覚型BCIの開発を目的としている。 2023年度は[1]聴覚/触覚型マルチモーダルBCI (ASM-BCI) と [2]α波の変調に基づくBCI（α-BCI）の研究を執り行った。[1]ASM-BCIについては、確率共鳴を利用すべく、雑音を重畳した聴覚型BCIの性能評価を行ったが、意思判別精度は付加雑音無しのBCIより若干向上する程度に留まった。そこで、触覚型BCIにおける確率共鳴の効果については今後検討することとして、ASM-BCIの基礎的な判別精度を優先させて調べた。まず、選択肢として左右の触覚（振動）刺激および左右の聴覚（振幅変調音）刺激の1つを選択する4クラスASM-BCIを構築した。特徴量にFFTによる刺激同調脳波振幅（聴覚：ASSR、触覚:SSSEP）を用いて機械学習（サポートベクトルマシーン；SVM）による (one versus one) 判別を行い、健常被験者6名中３名で偶然レベルと有意差を持つ判別精度（35%以上）を得たが、残りの３名では30%程度の値に留まった。そこで、意思選択肢となるタスクを追加し、特徴量および判別方法を検討して5クラスBCIを構築した。その結果、健常被験者10名の平均判別精度を43%に改善することができた。一方、[2]のα-BCIについては、まずは認知課題実行の有無による2クラスBCIを提案し、言語課題（しりとり、連想ゲーム）や音楽課題を用いてα波の平均振幅を特徴量としてSVMにより判別を行い、言語課題で80%、音楽課題で65%の判別精度を得た。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 2023年度においては、[1] ASM-BCIについては、(1) SSSEPの確率共鳴の検証とBCIへの適用、(2) 刺激の工夫によるASSR/SSSEPの増幅、(3) 最適タスクの選定と判別手法の検討および試行時間の短縮を進めてITR等の性能改善を計画した。研究実績に記したように、(1)は今後の課題としたが、(2), (3)についてはおおむね狙った成果が得られた。ただし、(2)に関しては聴覚及び触覚刺激の修飾方法には改善の余地がある。次に、[2] α-BCIでは、精神作業課題を探索し、連想課題と音楽課題を提案してα波の変調に与える効果を検討した。前者の連想課題からはしりとり課題と同様の意思判別性能が得られたが、後者からはコミュニケーションに十分な判別精度は得られなかった。この原因として、音楽のジャンルと提示方法に改善の余地があり、今後の検討課題である。 2023年度は脳波計の一部に故障が生じて新規導入するといった想定外の事象も生じたが、おおむね研究は順調に進展したと評価している。但し、研究計画の一部で狙った成果が十分には上がっていない項目がある。これらの項目については、2024年度においてキャッチアップおよび必要に応じて研究方針の変更を行う必要がある。
Strategy for Future Research Activity	2024年度には、[1]ASM-BCI と [2]α-BCIの研究を引き続き行うと共に、[1], [2]の成果を反映させて[3]非視覚型マルチモーダルハイブリッドBCI (NVM-BCI) を構築する。[1]のASM-BCIについては、(a)意思の選択肢となる課題の選定と(b)判別手法のさらなる検討を行うが、特に、(a)についてはNVM-BCIのクラス数を増やすと共に、脳波変調により効果的な刺激の修飾と提示方法を検討し、(b)では聴触覚型BCIでは殆ど用いられていないtransformerを始めとする深層学習の導入を検討する。[2]では、これまで提案してきた言語課題では左半球のα波の変調がより強く誘発されることから、2023年度に提案した音楽課題の他に右半球のα波の変調を誘発する課題を提案し、その効果を検証する。 [3]のNVM-BCIについては、[1], [2]のBCIを融合することにより、6クラス以上の多クラスBCIを構築して性能評価を行う。[1]の5つのタスク（左右の聴覚刺激および触覚刺激の内の1つの刺激を選択して意識集中または認知課題を実行）、「左右両方の音（または振動）に集中」、「全ての感覚刺激に集中」の計3つのタスクを加えて、最大8クラスのBCIへ拡張することも検討する。
Causes of Carryover	2023年度において研究に使用していた現有の計測機器（脳波計）に不具合が生じ、一部で正常な脳波信号を測定できない状態に陥った。現有の機器は20年以上も前に製造された製品のため、すでに修理部品がないことを鑑み、研究を円滑に遂行するため、次年度使用額を一部使用して新規に脳波計を導入した。この脳波計を用いて、従来よりも品質の高い脳波信号に基づいたBCIシステムを構築する予定である。