| Project/Area Number |
22K18626
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
滝口 哲也 神戸大学, 都市安全研究センター, 教授 (40397815)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
Fiscal Year 2024: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | ブレインマシンインターフェース |
|---|
| Outline of Research at the Start |
本研究課題では，音声を頭の中で想起することにより誘発された脳活動の計測を行い，音声想起の脳活動パターン識別，さらに脳活動信号から直接音声信号へ変換を可能にする手法について探索研究を行い，現状困難な音声想起の脳活動解析および発話障がい者のコミュニケーション支援の新たな学術体系の構築に挑戦する．具体的には，機械学習法に基づき識別に有効な時間(潜時)，位置(活動源)の解析を行い，さらに脳活動信号から直接（想起）音声信号へ変換生成を可能にする深層学習法を提案・検証する．
|
| Outline of Annual Research Achievements |
本研究課題では，音声を頭の中で想起することにより誘発された脳活動データを用いて，音声想起の脳活動パターン識別に関する手法について探索研究を行う．R4年度では，音声想起時の脳磁図(magneto-encephalography: MEG)を調査し，複雑な識別関数を学習可能な畳み込みニューラルネットワークを用いて，個人ごとに脳活動パターンの識別を行った．しかし学習パラメータ数が多く，実用に耐えうる高い精度を持つ識別器を個人ごとの少ないMEG データを用いて安定して学習することは容易ではない．R5年度では，個人ごとに少量のデータしか利用できない条件下で想起音声の分類精度を向上させるため，変分自己符号化器（variational autoencoder: VAE）を用いて複数人の音声想起時MEGの特徴表現を学習し，想起音声の分類モデルの学習に利用した．具体的には，学習したVAEのエンコーダーの重みを転移させて，新たな個人（VAEの学習時にデータを用いていない人）の想起時のMEGを分類する畳み込みニューラルネットワークの学習を行った．さらにConditional VAEを用いて新たな被験者の想起時のMEGデータを生成し，拡張したデータセットを用いて想起音声の分類モデルを学習し，提案手法の有効性を確認した．
また，マルチセンサ脳計測で観測される脳信号の共分散行列は脳活動の空間的特徴を含んでおり，音声想起時の脳磁界データの特徴抽出に有効である可能性がある．本研究では，共分散行列の集合がリーマン多様体となることを利用して，音声想起時脳磁界データの共分散行列に対して接空間写像を適用し特徴量抽出を行った．識別実験により有効性を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
R4年度の成果についてR5年度に開催された国際会議で発表を行っている．音声想起時に計測された脳信号に対して，個人ごとに少量のデータしか利用できない条件下で想起音声の分類精度を向上させるため，機械学習に基づくデータ拡張についても提案し有効性を確認している．さらに国際会議にも投稿中であり，本申請課題は，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
本年度の研究成果をもとに研究をさらに遂行しつつ，計画に沿って音声想起の脳活動計測，機械学習法を提案し，さらにR6年度では通常の音声想起のみならず，新たに感情音声の想起にも挑戦する．また，電流源推定においてもパラメータ数の多い非線形最適化の学習となるため，推定される電流分布のピーク位置が推定の度に異なる問題がある．そこで軽量な畳み込みネットワークであるDepthwise Separable ConvolutionおよびShuffleNet ユニットなどを用いた電流源推定法を検討する．R5年度に提案した想起音声識別のための変分自己符号化器に基づく表現学習についても，変分自己符号化器の改良およびさまざまなデータ拡張を行い，有効性の確認をする．得られた研究成果を国内外の学会（日本音響学会，IEEE）などで積極的に研究発表を行う．
|
