Brain2Music: Decoding of Music Imagery by Fusion of Neuromusicology and Informatics
Project/Area Number |
21K18311
|
Research Category |
Grant-in-Aid for Challenging Research (Pioneering)
|
Allocation Type | Multi-year Fund |
Review Section |
Medium-sized Section 62:Applied informatics and related fields
|
Research Institution | Tokyo University of Agriculture and Technology |
Principal Investigator |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
Co-Investigator(Kenkyū-buntansha) |
飯村 康司 順天堂大学, 医学部, 助教 (30819222)
|
Project Period (FY) |
2021-07-09 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥25,610,000 (Direct Cost: ¥19,700,000、Indirect Cost: ¥5,910,000)
Fiscal Year 2024: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2021: ¥16,640,000 (Direct Cost: ¥12,800,000、Indirect Cost: ¥3,840,000)
|
Keywords | ブレイン・マシン・インタフェース / ブレインマシンインタフェース / 信号処理 / 脳計測 / 神経音楽学 |
Outline of Research at the Start |
想像している音楽を脳波により再生する課題に,神経科学,脳外科学,情報学を融合したアプローチで挑戦する.そのために,適切な被験者実験によって,非侵襲の頭皮脳波だけでなく,開頭手術による頭蓋内脳波を計測する.このように計測した脳波データから,想像音楽をデコードするための深層学習技術を確立させる.想像音楽のデコードによって,脳における音楽情報処理の神経学的理解が加速度的に進むだけでなく,ブレイン・マシン・インタフェース技術と音楽情報検索技術を融合させることができる.このように,心理学・神経科学・音楽学・情報学を融合した「情報学的神経音楽学」の創成につなげる.
|
Outline of Annual Research Achievements |
想像している音楽(music imagery)を脳波により再生する課題に,神経科学,脳脳外科学,情報学を融合したアプローチで挑戦する.そのために,適切な心理物理課題による被験者実験によって非侵襲の頭皮脳波だけでなく,開頭手術による頭蓋内脳波を計測し,より質の高いデータを獲得する.このように計測した脳波データから,想像音楽をデコードするための深層学習技術を確立させることが本研究の目的である.本年度は以下の研究を実施した. ① 等間隔ではないリズム(例えば ♪・♪・♪♪♪など)の想像について,前年度以前に非侵襲実験で計測したデータに対して,深層学習による推定を試みた. ② 侵襲実験:頭蓋内脳波計測(順天堂大学) 侵襲実験は,順天堂大学脳神経外科で,てんかんの外科治療のために頭蓋内に電極を留置している患者を対象にする.基本的には,側頭葉に電極を留置した,部分てんかんの患者に実験に参加してもらい,合計 3 名の脳波を計測することができた.音声デコーディングの先行研究から,想像の場合が最も困難であると思われる.そこで,実験参加者には,想像だけでなく,発声と傾聴の 3 つのタスクを課す.発声タスクでは,メロディを実際に発声してもらう.発声のタイミングを脳波と同期させるため,課題の指示プログラムを制作しした.これによって,同期を取りながら脳波を計測する事ができるようになった.想像タスクは,発声とほぼ同様であるが,頭の中で画面に指示するタスクを想像する.脳波収録の際には,発声と同様,トリガ信号を記録する.傾聴タスクは,発声・想像の両タスクで用いた音楽を聴くタスクである. また,利用するメロディは,「ドレミファ」のような簡単な音階と,有名曲・無名曲を,プロの作曲家に依頼することで作曲した.
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
順天堂大学での非侵襲実験で用いるためのメロディを作曲するために時間がかかったこと,また,実験提示プログラムの作成は,メロディが準備されるまで作成できなかったことによる.さらに,脳波計測アンプ(脳波計)に不具合が見つかり,データが正しく記録されないトラブルもあった.この原因究明に時間を要したことから,研究の進捗がやや遅れ気味である.
|
Strategy for Future Research Activity |
脳波アンプの不具合については,まだ原因が完全には解明できてないため,これを早急に解決する必要がある.
|
Report
(3 results)
Research Products
(3 results)