| 研究課題/領域番号 |
23H00548
|
|---|
| 研究種目 |
基盤研究(A)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
中区分90:人間医工学およびその関連分野
|
|---|
| 研究機関 | 東京農工大学 |
|---|
研究代表者 |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
|---|
| 研究分担者 |
篠田 浩一 東京科学大学, 情報理工学院, 教授 (10343097)
田中 雄一 大阪大学, 大学院工学研究科, 教授 (10547029)
矢田部 浩平 東京農工大学, 工学(系)研究科(研究院), 准教授 (20801278)
菅野 秀宣 順天堂大学, 医学部, 非常勤講師 (90265992)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2025年度)
|
| 配分額 *注記 |
46,930千円 (直接経費: 36,100千円、間接経費: 10,830千円)
2025年度: 11,440千円 (直接経費: 8,800千円、間接経費: 2,640千円)
2024年度: 21,060千円 (直接経費: 16,200千円、間接経費: 4,860千円)
2023年度: 14,430千円 (直接経費: 11,100千円、間接経費: 3,330千円)
|
|---|
| キーワード | ブレイン・マシン・インタフェース（BMI） / ステレオ脳波（SEEG） / 内的発話デコーディング / 深層学習 / 転移学習 / 脳-コンピュータインターフェース / 音声デコーディング / 頭蓋内脳波 / ブレイン・コンピュータ・インタフェース / ブレイン・マシン・インタフェース / 定位的頭蓋内脳波 / BMI |
|---|
| 研究開始時の研究の概要 |
低侵襲な意思伝達BMI の実現に向けた大きな進歩を生み出すため，ユーザ負担の比較的低く，まだ実施例の少ない新しい侵襲計測であるステレオEEG（SEEG）を主たる計測・処理の対象とする．そして，脳内のネットワークダイナミクスを高解像度化できる信号処理技術，音声・言語の最新深層学習技術，そしてこれまでに蓄積した ECoG データの転移学習でSEEG を迎え撃つことで，音声意思伝達BMI を実現する．
|
| 研究実績の概要 |
本研究では、頭蓋内脳波（ECoG）からの音声デコーディングに関する二つの重要な成果を達成した。
第一に、ECoGにおける高周波帯域（150 Hz以上）が音声デコーディングに重要な役割を果たすことを示した。8名の参加者から得られたECoGデータを用いて、support vector machine（SVM）によって発話文を推定したところ、周波数帯域の上限を150 Hzよりも高く設定することで正解率が向上する傾向が見られた。特に顕著な参加者では、運動野および内側側頭葉が音声デコーディングに大きく寄与していることが判明した。これらの結果は、音声デコーディングにおいて150 Hz以上の高周波帯域の情報が重要であることを示唆している。
第二に、imagination speech（黙読）からの音声合成技術を開発した。13名の参加者から得られたECoGデータを用いて、Transformer型デコーダと事前学習済みニューラルボコーダ（Parallel WaveGAN）を組み合わせることで、高品質な音声合成を実現した。従来のBLSTMデコーダと比較して、Transformerデコーダは平均二乗誤差（MSE）、Pearson相関、文字誤り率（CER）の全ての評価指標において有意に優れた性能を示した（p<0.001）。特に黙読時の合成音声では0.85~0.95のPearson相関を達成し、聴取実験では一部の参加者においてチャンスレベル（50%）を有意に下回るトークン誤り率（TER）を得ることができた。脳部位の寄与度分析によると、発声時には感覚運動野や下前頭回が、黙読時には後頭葉が重要な役割を果たしていることが示された。
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
2024年度において、頭蓋内脳波からの音声デコーディングに関する研究は概ね順調に進展している。研究成果として、脳波の周波数帯域解析と音声合成技術の開発という二つの重要な成果が得られた。
まず、高周波帯域（特に150 Hz以上）が音声デコーディングに重要な役割を果たすことが示された。SVMを用いた発話文推定の結果、周波数帯域の上限を150 Hzより高く設定することで正解率が向上する傾向が確認された。また、言語性運動野~運動野および内側側頭葉が音声デコーディングに大きく寄与していることも明らかになった。
また、黙読（イマジンドスピーチ）からの音声合成研究においては、Transformer型デコーダと事前学習済みニューラルボコーダを組み合わせた手法により、高品質な音声合成が実現された。この研究では黙読時の合成音声に関して高いPearson相関が達成されており、一部の参加者においては聴取実験でもチャンスレベルを下回る結果が得られている。
当初計画との照合については、研究は概ね計画通りに進捗しているが、特にSEEGデータの蓄積に関してはさらなる取り組みが必要である。一方で、ECoGデータの解析は順調に進んでおり、今後は得られた知見をもとに研究をさらに発展させる予定である。
|
| 今後の研究の推進方策 |
2025年度は、これまでの成果を基にさらなる発展を目指す。2024年度に得られた高周波帯域（150 Hz以上）の重要性と言語性運動野~運動野および内側側頭葉の関与という知見を活かし、脳波デコーダの精度向上に取り組む。
特にSEEG計測については、順天堂大学脳神経外科との連携を強化し、ROSA装置を活用して症例数の増加を図る。コロナ後の手術数回復が予想より遅い場合は、既存データの徹底活用と数理モデルの高度化により対応する。
デコーディング技術については、Transformer型アーキテクチャの改良を進め、黙読からの音声合成精度をさらに高める。また、個体間差異に対応するためのグラフリサンプリング手法も発展させ、電極位置の違いによる影響を最小化する。
研究の最終段階として、ECoGデータから得られた知見を頭皮脳波への応用に展開する。これにより非侵襲的な脳波からの音声デコーディングの可能性を探る。同時に、クラウドデータ取得システムをベースに、多施設からのデータ共有と解析を試みる。
実験参加者の負担軽減にも配慮し、実験手順を最適化することで質の高いデータ取得を目指す。これらの取り組みにより、低侵襲BMIの実用化へ向けた基盤技術の確立を図る。
|
