2022 Fiscal Year Research-status Report

Feature Representation Learning and Imagined Speech Recognition by Simultaneous Recording of Spoken Language Stimuli and EEG

Research Project

Project/Area Number	22K19828
Research Institution	Shizuoka University
Principal Investigator	甲斐充彦静岡大学, 工学部, 准教授 (60283496)
Co-Investigator(Kenkyū-buntansha)	中川聖一中部大学, 工学部, 客員教授 (20115893) 山本一公中部大学, 工学部, 教授 (40324230)
Project Period (FY)	2022-06-30 – 2025-03-31
Keywords	脳波 / 想起音声認識 / 深層学習 / 特徴表現 / 位相特徴 / 注意機構
Outline of Annual Research Achievements	本研究課題では、口唇、舌、咽頭、喉頭などの発声器官を動かさないで言葉を想起した場合に生じる頭皮脳波(EEG)を用いて、発声しようとした言葉（以降、想起音声と呼ぶ）を認識するシステムを開発する。脳内活動を知るセンサーの中でEEGは脳コンピュータインタフェース（BCI）向けに有望であるが、脳内活動以外の影響が極めて大きく、単純な単語想起でも実用的な精度が得られていない。従来、この種の問題は認識対象を短時間の言語音や数種類の単語の想起内容に限定し、限定された短い区間の脳波信号を用いたパターン認識問題として研究されているが、まだ実用的な認識精度が得られていない。そこで、音声情報処理や深層学習分野での知見を活用し、これまで研究を進めてきたニューラルネットワークに基づく想起音声認識モデルを基本として、脳波の時間的な特徴と空間的な特徴をより良く捉えるための特徴抽出法と認識モデル化手法について改善を図り、新たな方法を提案した。具体的には、音声情報処理分野で有効性が示されていた相対位相の特徴抽出法を応用し、複数チャンネル信号から空間的特徴をよりよく捉える特徴抽出法を考案した。もう一つのアプローチとして、想起音声認識タスク向けの時空間の特徴表現の自動獲得を意図し、畳み込みニューラルネットワークと注意機構を組み合わせた認識モデルの構造を新たに考案した。これらの提案手法の有効性を確認するため、音素を想起した複数の被験者による脳波データを用いて評価実験を行った。その結果、これら二つの提案手法はそれぞれで認識精度の改善が得られ、同データセットを用いた関連研究における結果と比較して顕著に認識精度が改善された。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 想起音声認識の課題のための特徴抽出法および特徴表現学習を考慮した認識モデルの考案については、他の関連研究でも利用されているデータセットで評価を行い性能改善を得た。これらの成果は国際会議で発表するため投稿準備を進めている。今年度にはこれらの提案手法の改善と評価実験により基本仕様を固めベースライン評価を揃えることを重視したため、想起音声特徴を捉える脳波収録法と特徴表現学習法の考案については関連研究の文献調査に基づき方針を検討するまでの進捗となった。
Strategy for Future Research Activity	今年度に考案した複数チャンネルを考慮した特徴抽出法と注意機構を導入した認識モデルの二つのアプローチは、それぞれ独立にその効果を確認できたが、組み合わせることで相補的な働きによってより良い特徴表現獲得が期待される。そこで、組み合わせの効果を高める認識モデルの考案と実験を更に進め、認識精度の更なる改善を図る。また、近年では運動想起のような脳波データを多く収録しやすいタスクでの深層学習モデルの研究発表が増えているため、他の深層学習の分野で注目される特徴表現モデルの転移学習の観点からも新たに認識・学習モデルの考案と実験を進める。そして、新たに購入予定の脳波計を利用して、時間的な構造を考慮した想起音声特徴を捉えるための脳波データ収録方法に基づいて新たにデータ収集を開始し、そのデータ分析および特徴表現学習モデル構築を進める。
Causes of Carryover	研究計画の中で初年度の実施事項として重点を置いた内容の多くは、既存の実験用データセットを用いて研究を進めることができ、また一定の成果が得られたため国際会議等での発表を優先して一連の実験等の計画を進めた。そのため、当初予定していた追加データ収録のための脳波センサーの購入を次年度に実施することで当初の研究計画を進める。