2022 Fiscal Year Research-status Report
Brain2Music: Decoding of Music Imagery by Fusion of Neuromusicology and Informatics
| Project/Area Number |
21K18311
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯村 康司 順天堂大学, 医学部, 助教 (30819222)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Keywords | ブレイン・マシン・インタフェース |
|---|
| Outline of Annual Research Achievements |
想像している音楽（music imagery）を脳波により再生する課題に，神経科学，脳脳外科学，情報学を融合したアプローチで挑戦する．そのために，適切な心理物理課題による被験者実験によって非侵襲の頭皮脳波だけでなく，開頭手術による頭蓋内脳波を計測し，より質の高いデータを獲得する．このように計測した脳波データから，想像音楽をデコードするための深層学習技術を確立させることが本研究の目的である．本年度は以下の研究を実施した．
① 等間隔ではないリズム（例えば ♪・♪・♪♪♪など）の想像について，前年度以前に非侵襲実験で計測したデータに対して，深層学習による推定を試みた．
② 侵襲実験：頭蓋内脳波計測（順天堂大学）
侵襲実験は，順天堂大学脳神経外科で，てんかんの外科治療のために頭蓋内に電極を留置している患者を対象にする．基本的には，側頭葉に電極を留置した，部分てんかんの患者に実験に参加してもらい，合計 3 名の脳波を計測することができた．音声デコーディングの先行研究から，想像の場合が最も困難であると思われる．そこで，実験参加者には，想像だけでなく，発声と傾聴の 3 つのタスクを課す．発声タスクでは，メロディを実際に発声してもらう．発声のタイミングを脳波と同期させるため，課題の指示プログラムを制作しした．これによって，同期を取りながら脳波を計測する事ができるようになった．想像タスクは，発声とほぼ同様であるが，頭の中で画面に指示するタスクを想像する．脳波収録の際には，発声と同様，トリガ信号を記録する．傾聴タスクは，発声・想像の両タスクで用いた音楽を聴くタスクである．
また，利用するメロディは，「ドレミファ」のような簡単な音階と，有名曲・無名曲を，プロの作曲家に依頼することで作曲した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
順天堂大学での非侵襲実験で用いるためのメロディを作曲するために時間がかかったこと，また，実験提示プログラムの作成は，メロディが準備されるまで作成できなかったことによる．さらに，脳波計測アンプ（脳波計）に不具合が見つかり，データが正しく記録されないトラブルもあった．この原因究明に時間を要したことから，研究の進捗がやや遅れ気味である．
|
| Strategy for Future Research Activity |
脳波アンプの不具合については，まだ原因が完全には解明できてないため，これを早急に解決する必要がある．
|
| Causes of Carryover |
アルバイトや研究補助員を雇用する予定であったが，適切な人材が見つからなかった．次年度に深層学習のためのサーバの購入に充てる予定である．
|
