2021 Fiscal Year Research-status Report
Brain2Music: Decoding of Music Imagery by Fusion of Neuromusicology and Informatics
| Project/Area Number |
21K18311
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯村 康司 順天堂大学, 医学部, 助教 (30819222)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Keywords | ブレインマシンインタフェース |
|---|
| Outline of Annual Research Achievements |
リズムは音楽を構成する一要素であり，複数のビートで構成される．等間隔ビートや拍子の想像は，脳波を周波数解析することで識別できることが報告されている．しかし，ビートが等間隔でないリズムに関しては，個々のビートを検出する必要性が生じる．そこで今年度は，ビートが等間隔でないリズムを想像しているときに計測した脳波から機械学習により個々のビートを検出できるとの仮説を立て、脳波計測実験と機械学習による解析を実施した。今年度は、来年度以降の予備実験として頭皮脳波にかぎって実施したが、来年度以降は頭蓋内脳波の計画している。
今年度立てた仮説を検証するため，ビートが等間隔でないリズム想像時の脳波を計測する実験を実施した．この実験では，18名の実験参加者に対し，ビートのタイミングを視覚的に呈示する場合としない場合の2条件で脳波を計測した．計測した脳波から個々のビートを検出するための畳み込みニューラルネットワークモデルを構築した．この識別モデルには，視覚刺激を脳波から検出したNagelらの畳み込みニューラルネットワーク（CNN）モデルを基に，リズム想像時の脳波データに合うようにフィルタサイズを設計した．CNNはデータの局所的な特徴を抽出するニューラルネットワークであるため、ビートの想像によって現れる脳波の特徴を抽出できると期待した．ここでは、3層の畳み込み層と2層の全結合層からなるCNNを用いた．1層目の畳み込み層で空間方向，2層目以降の畳み込み層で時間方向に畳み込む．このモデルに対し，脳波に対するビートの有無を教師データとして訓練し，その性能を評価した．その結果，視覚タイミングを呈示しない条件でも，モデルのAUCは参加者平均で 0.643 となった．この結果は，個々のビートを検出することで，音楽のリズムを脳波から検出できる可能性を示唆している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定通り、頭皮脳波の測定実験が順調に進んだ。
|
| Strategy for Future Research Activity |
今年度の研究では，ビートが等間隔でないリズムを想像したときの脳波から，CNNによってビートを検出できることが明らかになった． 実験では音の想像方法を2種類（想像タイミングの視覚的な呈示の有無）指示した．結果，想像タイミングの呈示がない場合でも，ビートの識別性能について，F値で0.299，AUCで 0.643 が得られた．この結果は，ビートを検出することで音楽のリズムを脳波から検出することが可能であることを示唆している．本研究においては，モデルに入力する脳波の長さや，ラベル付けが不適切である可能性があり，ビートの想像によって生じる脳活動に対応した脳波の切り出し，ラベル付けが今後の課題である．また，マーカー呈示時のビート識別では，識別結果が視覚タイミングの提示による影響がある可能性を排除しきれなかった．そこで，視覚タイミングの影響が出ない実験デザインを設計する必要がある．
|
| Causes of Carryover |
Covid-19 のため、海外出張ができなくなったことと、解析用の計算機など、半導体不足により、必要なものを即座に入手できなかったことによる。次年度は、2021年度の成果を発表するための国際会議出張、および計算機の購入に利用する。
|
Research Products
(2 results)
