2018 Fiscal Year Research-status Report

言語脳神経活動の解析に基づく発話障がい者のコミュニケーション支援技術の基礎研究

Research Project

Project/Area Number	18K19820
Research Institution	Kobe University
Principal Investigator	滝口哲也神戸大学, 都市安全研究センター, 教授 (40397815)
Project Period (FY)	2018-06-29 – 2021-03-31
Keywords	言語脳神経活動
Outline of Annual Research Achievements	今年度は，発話コミュニケーションにおける脳神経活動の解析を行うため，以下2つの項目について研究を遂行した．（１）想起音声の識別：脳磁界計測データを用いて，音声想起時の時空間特性を検証した．想起音声のエンベロープと想起により誘発された加算平均脳磁界反応の相関を調べたところ，想起時には音声聴取時と同レベルの相関は得られなかったものの, 時間波形上で聴覚野周辺の緩やかな活動が認められた．さらに脳磁界データから想起音声の識別を行うタスクにて，脳活動の空間的特徴を取り入れるため，各チャネルのパワースペクトル密度を2 次元に写像した特徴量を提案し，想起音声の識別精度を改善した．（２）機械学習による脳信号の特徴量抽出：新たな音の印象評価手法として脳活動計測に基づく方法が提案されてきている．今年度は，印象予測モデルの予測精度向上のための特徴量抽出手法として，Multilinear Discriminant Analysis (MDA)を用いた特徴量抽出を試みた．MDAはクラスベクトルが付与されたテンソルからなるデータセットをクラスごとに分離させるような変換を学習し，モデルとの誤差の最小化は行われない．比較判断をクラスに対応させてMDAを用いることで，学習データから印象の予測に有用な特徴抽出が期待できる．今年度はエアコン音の聴感印象を対象として，脳磁界から計算した周波数特徴量にMDAを適用して抽出した特徴量から印象予測モデルを構築し，その予測精度より提案手法の有効性を検証した．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本年度の交付申請書では，2つのサブテーマを設定していた．(I)想起音声の識別については，チャネル間の空間的な相関を考慮した新たな特徴量を提案し，畳み込みニューラルネットワークとLong-short time memoryを組み合わせた識別器を用いて識別実験を行い提案手法の有効性を示せた．(II)脳信号から音生成については，前処理段階としてMultilinear Discriminant Analysisによる特徴量抽出法を提案し有効性を確認し，学会で論文発表を行った．そのほかにも音声明瞭度に関連した脳磁界反応の解析も行い，ウェルニッケ野においては，音声明瞭度が段階的に変化する際に特徴的に変化する活動が確認できて，学会で論文発表を行った．本申請課題は，おおむね順調に進展しているといえる．
Strategy for Future Research Activity	今後は，今年度の研究成果をもとに研究を遂行していく． - 研究代表者・連携研究者の間で，定期的に報告会を開催し，研究の進捗状況を協議する. - 本プロジェクトを通じて得られた研究成果を国内外の学会等で積極的に研究発表を行う．また，ホームページなどを通じて研究成果を広く公開していき，様々な意見をいただける機会を設け，新たな研究の可能性について検討する．
Causes of Carryover	次年度は，研究成果を国際会議で発表する予定であり，またジャーナル論文も投稿予定である．そのため申請時予定よりも旅費などが多く必要となるため，本年度の一部予算と合わせて執行することになる．