2023 Fiscal Year Research-status Report
| Project/Area Number |
22K18626
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
滝口 哲也 神戸大学, 都市安全研究センター, 教授 (40397815)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | ブレインマシンインターフェース |
|---|
| Outline of Annual Research Achievements |
本研究課題では，音声を頭の中で想起することにより誘発された脳活動データを用いて，音声想起の脳活動パターン識別に関する手法について探索研究を行う．R4年度では，音声想起時の脳磁図(magneto-encephalography: MEG)を調査し，複雑な識別関数を学習可能な畳み込みニューラルネットワークを用いて，個人ごとに脳活動パターンの識別を行った．しかし学習パラメータ数が多く，実用に耐えうる高い精度を持つ識別器を個人ごとの少ないMEG データを用いて安定して学習することは容易ではない．R5年度では，個人ごとに少量のデータしか利用できない条件下で想起音声の分類精度を向上させるため，変分自己符号化器（variational autoencoder: VAE）を用いて複数人の音声想起時MEGの特徴表現を学習し，想起音声の分類モデルの学習に利用した．具体的には，学習したVAEのエンコーダーの重みを転移させて，新たな個人（VAEの学習時にデータを用いていない人）の想起時のMEGを分類する畳み込みニューラルネットワークの学習を行った．さらにConditional VAEを用いて新たな被験者の想起時のMEGデータを生成し，拡張したデータセットを用いて想起音声の分類モデルを学習し，提案手法の有効性を確認した．
また，マルチセンサ脳計測で観測される脳信号の共分散行列は脳活動の空間的特徴を含んでおり，音声想起時の脳磁界データの特徴抽出に有効である可能性がある．本研究では，共分散行列の集合がリーマン多様体となることを利用して，音声想起時脳磁界データの共分散行列に対して接空間写像を適用し特徴量抽出を行った．識別実験により有効性を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
R4年度の成果についてR5年度に開催された国際会議で発表を行っている．音声想起時に計測された脳信号に対して，個人ごとに少量のデータしか利用できない条件下で想起音声の分類精度を向上させるため，機械学習に基づくデータ拡張についても提案し有効性を確認している．さらに国際会議にも投稿中であり，本申請課題は，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
本年度の研究成果をもとに研究をさらに遂行しつつ，計画に沿って音声想起の脳活動計測，機械学習法を提案し，さらにR6年度では通常の音声想起のみならず，新たに感情音声の想起にも挑戦する．また，電流源推定においてもパラメータ数の多い非線形最適化の学習となるため，推定される電流分布のピーク位置が推定の度に異なる問題がある．そこで軽量な畳み込みネットワークであるDepthwise Separable ConvolutionおよびShuffleNet ユニットなどを用いた電流源推定法を検討する．R5年度に提案した想起音声識別のための変分自己符号化器に基づく表現学習についても，変分自己符号化器の改良およびさまざまなデータ拡張を行い，有効性の確認をする．得られた研究成果を国内外の学会（日本音響学会，IEEE）などで積極的に研究発表を行う．
|
| Causes of Carryover |
計算機サーバなどを購入する予定であったが，引き続き研究過程でメモリ容量の少ないアルゴリズムを検討することができたため，今年度は計上しなかった．今後新たな脳計測も行うためセンサーなどを購入する予定である．さまざまな研究成果が得られてきているため，今後複数の国際会議・国内学会で研究発表を行う予定であり，旅費などに支出予定である．また英語論文の投稿を計画しており，論文校正費，掲載費，および計算機購入などに支出予定である．
|
