| Project/Area Number |
22K18626
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
滝口 哲也 神戸大学, 都市安全研究センター, 教授 (40397815)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
Fiscal Year 2024: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | ブレインマシンインターフェース |
|---|
| Outline of Research at the Start |
本研究課題では，音声を頭の中で想起することにより誘発された脳活動の計測を行い，音声想起の脳活動パターン識別，さらに脳活動信号から直接音声信号へ変換を可能にする手法について探索研究を行い，現状困難な音声想起の脳活動解析および発話障がい者のコミュニケーション支援の新たな学術体系の構築に挑戦する．具体的には，機械学習法に基づき識別に有効な時間(潜時)，位置(活動源)の解析を行い，さらに脳活動信号から直接（想起）音声信号へ変換生成を可能にする深層学習法を提案・検証する．
|
| Outline of Annual Research Achievements |
本研究課題では，音声を頭の中で想起することにより誘発された脳活動の計測を行い，音声想起の脳活動パターン識別に関する手法について探索研究を行う．
まずR4年度では，より高精度に非侵襲な脳活動計測が可能な脳磁界計測による想起音声識別を行った．具体的には，さまざまなBCI（ブレイン・コンピュータ・インターフェース）タスクに適用可能な畳み込みニューラルネットワークであるEEGNetを用いた手法を検討した．EEGNetは神経生理学的信号から解釈可能な抽象的特徴を抽出するだけでなく，少ないデータセットで信頼性の高いモデルを構築することが期待できる．
EEGNetは入力をRawデータとし，時間方向の畳み込み，Depthwise畳み込み，Separable 畳み込みからなるネットワークである．まず時間方向の畳み込みにより周波数フィルタを学習し，Depthwise畳み込みで各特徴マップに個別に周波数に応じた空間フィルタを学習する．最後のSeparable畳み込みにより，各特徴マップを時間方向に個別に学習する畳み込みと，特徴マップを最適に加算する畳み込みを行う．また，BCIの識別モデルのサイズが大きくなる程，学習すべきハイパーパラメータが増え，モデル性能のばらつきが大きくなる可能性がある．EEGNetでは，Depthwise畳み込みやSeparable畳み込みを取り入れることにより，パラメータ数を通常の畳み込みに対して減らすことができ，オーバーフィッティングを起こしにくいモデルとなると考えられている．R4年度では実際に計測した脳磁界データによる音声想起の識別実験を行い，EEGNetが同タスクにおいて適用可能であることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
交付申請書では，まず実験が比較的容易な発話時の脳活動計測データに関する解析を2022年度に行い，2023年度以降に音声想起時に計測された脳信号に対して機械学習法に基づく空間フィルタを用いて実験を行うことにしていたが，今年度すでに音声想起時の脳活動データに対して機械学習法による識別実験を行うことができた．現在，機械学習に基づくデータ拡張についても，教師なし機械学習のDeep Priorを用いて脳波のみから脳内の電流分布を推定する手法にも着手しており，本申請課題は，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
本年度の研究成果をもとに研究をさらに遂行しつつ，計画に沿って脳活動計測，機械学習法を提案し，さらにさまざまなタスクにも適用できるような一般化・汎用性も検討していく．
- 研究代表者・協力者の間で，定期的に報告会を開催し，研究の進捗状況を協議する．
- 本プロジェクトを通じて得られた研究成果を国内外の学会（日本音響学会，IEEE）などで積極的に研究発表を行う．また個人ホームページなどを通じて研究成果を広く公開していき，さまざまな意見をいただける機会を設け，新たな研究の可能性について検討する．
|
Report
(1 results)
Research Products
(2 results)
