2023 Fiscal Year Research-status Report
Brain2Music: Decoding of Music Imagery by Fusion of Neuromusicology and Informatics
| Project/Area Number |
21K18311
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯村 康司 順天堂大学, 医学部, 助教 (30819222)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Keywords | Music decoding |
|---|
| Outline of Annual Research Achievements |
今年度は、ステレオ脳波（SEEG）から音楽のメロディを合成するために、Transformerベースのエンコーダーを用いた手法を提案した。脳波から音声や音楽を復元する研究は近年発展しているが、SEEGを用いた音楽合成の研究はまだ少ない。
提案手法では、SEEGから抽出したログメルスペクトログラムを入力とし、時間畳み込みとTransformerによってメロディの特徴を抽出する。そして、ニューラルボコーダーによってメロディ音声を生成する。評価実験では、BLSTMベースの手法と比較し、提案手法の性能を検証した。
実験では、難治性てんかん患者4名の実験参加者から収集したSEEGデータを使用した。各被験者について、オリジナルの音楽とランダムな音楽を聴取している際のSEEGデータを用いて、メロディ合成を行った。合成したメロディの評価には、MSE lossを用いた。
実験の結果、提案手法はBLSTM手法と同等以上の性能を示し、被験者4名中3名においてMSE lossが低い値となった。これにより、SEEGからメロディ合成においてTransformerの有効性が示された。一方で、被験者間で性能に差が見られたことから、個人差の影響を考慮する必要性が示唆された。
本研究の成果は、SEEGを用いたBCI技術の発展に寄与すると期待される。特に、音楽を用いたコミュニケーション支援への応用が期待できる。今後は、より多様な音楽や被験者のデータを用いた検証を行い、手法の改良を進める必要がある。また、個人差の要因を探ることで、より頑健な手法の開発につなげていきたい。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究プロジェクトは、2023年度までに概ね順調に進行している。非侵襲脳波実験(WP2)と侵襲脳波実験(WP3)のデータ収集を着実に進め、得られたデータを用いた解析により、音楽想起時の脳活動に関する新たな知見が得られつつある。
WP2では、リズム想起時の脳波に関する先行研究の知見を再現・拡張することができた。また、ピッチ推定についても、一定の成果が得られている。WP3では、てんかん患者から侵襲脳波を計測し、音楽想起時の高次脳機能に関わる脳活動を捉えることに成功した。
解析手法の開発(WP4)も順調に進んでおり、非侵襲脳波及び侵襲脳波からの想起音楽のデコーディングについて、新たなアルゴリズムを提案し、その有効性を示すことができた。特にTransformerを用いた手法は、従来手法と比べて高い復元精度を達成している。
以上のように、各WPにおいて着実な進展が見られ、プロジェクト全体としても順調に進行していると言える。
|
| Strategy for Future Research Activity |
2024年度は本研究プロジェクトの最終年度であり、これまでの研究成果を集大成して、音楽想起型BMIの実現に向けた重要な年となる。特に、以下の点に注力して研究を推進する方針である。
第一に、非侵襲脳波実験(WP2)と侵襲脳波実験(WP3)で得られた大規模データを活用し、想起音楽のデコーディング精度の向上を目指す。リズムやピッチの復元において、ディープラーニングを活用した新たなアルゴリズムを開発・適用することで、より高い性能を達成したい。
第二に、WP2とWP3の結果を統合的に解釈し、非侵襲BMIと侵襲BMIのそれぞれの特性を明らかにする。特に、侵襲脳波の高い時空間解像度を活かした、精緻な音楽復元の可能性を追求する。これにより、「音楽想起型BMI」の全体像を具体的に描く。
第三に、国内外の学会・論文誌への積極的な成果発表を行い、Neuromusicology分野への学術的貢献を果たす。特に、プロジェクト全体の集大成となる論文を、当該分野のトップジャーナルに投稿し、インパクトのある成果として世に問う。
第四に、企業との連携を視野に入れ、BMI技術の社会実装に向けた具体的な道筋をつける。想起音楽の再構成技術が、障がい者支援や健常者のエンターテイメントなど、様々な場面で活用されるよう、実用化研究にも着手する。
以上の方策を着実に実行し、当初の目標を達成することで、BMIの新たな可能性を切り拓く画期的な成果の創出を目指したい。
|
| Causes of Carryover |
購入予定の計算機のリリース次期が年度を超えて先延ばしになったため．2024年度には，GPU計算機を購入予定である．
|
