2019 Fiscal Year Research-status Report
言語脳神経活動の解析に基づく発話障がい者のコミュニケーション支援技術の基礎研究
| Project/Area Number |
18K19820
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
滝口 哲也 神戸大学, 都市安全研究センター, 教授 (40397815)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 言語脳神経活動 |
|---|
| Outline of Annual Research Achievements |
今年度は以下2つの項目について研究を遂行した．
（１）音声想起時の脳磁界データ識別：脳磁界データにおける音声想起に伴う信号の微弱さ，学習データの少なさに対する特徴量の次元数の膨大さを克服するため，識別的なチャネル選択を行うことを目的として，Squeeze-and-Excitation Networks (SENets)を組み込んだ畳み込みニューラルネットワークを実装した．評価実験の結果，提案手法における識別率は従来手法の識別率を上回り，この傾向は同期加算により雑音除去を施した波形においてより顕著に現れた．このことから，SENetsによりチャネルに適応的な重み付けが行われ，音声想起時の脳磁界データの識別に有効に作用していると言える．
（２）空間フィルタによる印象関連脳活動の抽出：印象予測モデルの精度を向上させるため，CSP (Common Spatial Pattern)を利用して印象の程度によって変化する脳活動を反映する特徴量の抽出を試みた．比較判断の直前に聴取した刺激音に対する脳活動の特徴量から一対比較判断の予測を行った結果，CSP特徴量を用いた場合に他の特徴量と比較して高い正解率を示した．さらにCSPの空間パターンを調べることで，印象の程度によって変化する脳活動を同定できる可能性がある．また，異なる脳領域間の機能的結合の指標に基づく特徴量についても研究を行った．具体的には，すべてのチャネル間の機能的結合からなるテンソルを，2つのチャネル方向について対称な低ランクテンソルで近似し，周波数帯域・大脳皮質全体にわたる結合を表現する低次元の特徴抽出法を提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
近年，身体障害者のコミュニケーション支援を目的として，音声認識や行動認識が用いられている．しかし，発話や身振りを使ったコミュニケーション手段を用いることが困難な身体障害者も存在する．そこで我々は，利用者の意思をより自由に理解するようなブレイン・コンピュータ・インターフェイス (BCI)を開発することを目的として，脳磁界データから想起音声の識別を試みている．実績の概要で記述したとおり，(I)想起音声の識別については，脳磁界データから抽出したウェーブレット特徴量から，Squeeze-and-Excitation Networksにより識別に有用なチャネル選択を行い，識別に必要な特徴のみを抽出することを実現し，識別実験を行い提案手法の有効性を示せた．(II)また新たな脳活動特徴量抽出法として，機能的結合の指標からなるテンソルを，機能的結合の持つ対称性を考慮したNonnegative Tensor Factorization (NTF)によって低ランク近似し，すべての周波数帯域・大脳皮質全体にわたる結合を表現する低次元の特徴を抽出する方法を提案し，学会にて論文発表を行った．本申請課題は，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
今後は，今年度の研究成果をもとに研究を遂行していく．
- 技術的には，より良い特徴量抽出を実現するために，CSP (Common Spatial Pattern)における最適な帯域の選択や正則化の導入，各周波数帯域のパワーとは異なる他の特徴量の統合などを多方面から検討する．すべての被験者で高い予測精度を得るためには，より頑健な機能的結合の指標や特徴量選択の手法が必要である．
- 研究代表者・連携研究者の間で，定期的に報告会を開催し，研究の進捗状況を協議する．
- 本プロジェクトを通じて得られた研究成果を国内外の学会等で積極的に研究発表を行う．また，ホームページなどを通じて研究成果を広く公開していき，様々な意見をいただける機会を設け，新たな研究の可能性について検討する．
|
| Causes of Carryover |
次年度は，研究成果を国際会議で発表する予定であり，またジャーナル論文も投稿予定である．そのため申請時予定よりも旅費，論文投稿費などが多く必要となるため，本年度の一部予算と合わせて執行することになる．
|
