| Project/Area Number |
21K18311
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Pioneering)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 62:Applied informatics and related fields
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯村 康司 順天堂大学, 医学部, 助教 (30819222)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥25,610,000 (Direct Cost: ¥19,700,000、Indirect Cost: ¥5,910,000)
Fiscal Year 2024: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2021: ¥16,640,000 (Direct Cost: ¥12,800,000、Indirect Cost: ¥3,840,000)
|
|---|
| Keywords | Music decoding / ブレイン・マシン・インタフェース / ブレインマシンインタフェース / 信号処理 / 脳計測 / 神経音楽学 |
|---|
| Outline of Research at the Start |
想像している音楽を脳波により再生する課題に，神経科学，脳外科学，情報学を融合したアプローチで挑戦する．そのために，適切な被験者実験によって，非侵襲の頭皮脳波だけでなく，開頭手術による頭蓋内脳波を計測する．このように計測した脳波データから，想像音楽をデコードするための深層学習技術を確立させる．想像音楽のデコードによって，脳における音楽情報処理の神経学的理解が加速度的に進むだけでなく，ブレイン・マシン・インタフェース技術と音楽情報検索技術を融合させることができる．このように，心理学・神経科学・音楽学・情報学を融合した「情報学的神経音楽学」の創成につなげる．
|
| Outline of Annual Research Achievements |
今年度は、ステレオ脳波（SEEG）から音楽のメロディを合成するために、Transformerベースのエンコーダーを用いた手法を提案した。脳波から音声や音楽を復元する研究は近年発展しているが、SEEGを用いた音楽合成の研究はまだ少ない。
提案手法では、SEEGから抽出したログメルスペクトログラムを入力とし、時間畳み込みとTransformerによってメロディの特徴を抽出する。そして、ニューラルボコーダーによってメロディ音声を生成する。評価実験では、BLSTMベースの手法と比較し、提案手法の性能を検証した。
実験では、難治性てんかん患者4名の実験参加者から収集したSEEGデータを使用した。各被験者について、オリジナルの音楽とランダムな音楽を聴取している際のSEEGデータを用いて、メロディ合成を行った。合成したメロディの評価には、MSE lossを用いた。
実験の結果、提案手法はBLSTM手法と同等以上の性能を示し、被験者4名中3名においてMSE lossが低い値となった。これにより、SEEGからメロディ合成においてTransformerの有効性が示された。一方で、被験者間で性能に差が見られたことから、個人差の影響を考慮する必要性が示唆された。
本研究の成果は、SEEGを用いたBCI技術の発展に寄与すると期待される。特に、音楽を用いたコミュニケーション支援への応用が期待できる。今後は、より多様な音楽や被験者のデータを用いた検証を行い、手法の改良を進める必要がある。また、個人差の要因を探ることで、より頑健な手法の開発につなげていきたい。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究プロジェクトは、2023年度までに概ね順調に進行している。非侵襲脳波実験(WP2)と侵襲脳波実験(WP3)のデータ収集を着実に進め、得られたデータを用いた解析により、音楽想起時の脳活動に関する新たな知見が得られつつある。
WP2では、リズム想起時の脳波に関する先行研究の知見を再現・拡張することができた。また、ピッチ推定についても、一定の成果が得られている。WP3では、てんかん患者から侵襲脳波を計測し、音楽想起時の高次脳機能に関わる脳活動を捉えることに成功した。
解析手法の開発(WP4)も順調に進んでおり、非侵襲脳波及び侵襲脳波からの想起音楽のデコーディングについて、新たなアルゴリズムを提案し、その有効性を示すことができた。特にTransformerを用いた手法は、従来手法と比べて高い復元精度を達成している。
以上のように、各WPにおいて着実な進展が見られ、プロジェクト全体としても順調に進行していると言える。
|
| Strategy for Future Research Activity |
2024年度は本研究プロジェクトの最終年度であり、これまでの研究成果を集大成して、音楽想起型BMIの実現に向けた重要な年となる。特に、以下の点に注力して研究を推進する方針である。
第一に、非侵襲脳波実験(WP2)と侵襲脳波実験(WP3)で得られた大規模データを活用し、想起音楽のデコーディング精度の向上を目指す。リズムやピッチの復元において、ディープラーニングを活用した新たなアルゴリズムを開発・適用することで、より高い性能を達成したい。
第二に、WP2とWP3の結果を統合的に解釈し、非侵襲BMIと侵襲BMIのそれぞれの特性を明らかにする。特に、侵襲脳波の高い時空間解像度を活かした、精緻な音楽復元の可能性を追求する。これにより、「音楽想起型BMI」の全体像を具体的に描く。
第三に、国内外の学会・論文誌への積極的な成果発表を行い、Neuromusicology分野への学術的貢献を果たす。特に、プロジェクト全体の集大成となる論文を、当該分野のトップジャーナルに投稿し、インパクトのある成果として世に問う。
第四に、企業との連携を視野に入れ、BMI技術の社会実装に向けた具体的な道筋をつける。想起音楽の再構成技術が、障がい者支援や健常者のエンターテイメントなど、様々な場面で活用されるよう、実用化研究にも着手する。
以上の方策を着実に実行し、当初の目標を達成することで、BMIの新たな可能性を切り拓く画期的な成果の創出を目指したい。
|
