研究課題/領域番号 |
21K18311
|
研究種目 |
挑戦的研究(開拓)
|
配分区分 | 基金 |
審査区分 |
中区分62:応用情報学およびその関連分野
|
研究機関 | 東京農工大学 |
研究代表者 |
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
|
研究分担者 |
飯村 康司 順天堂大学, 医学部, 助教 (30819222)
|
研究期間 (年度) |
2021-07-09 – 2025-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
25,610千円 (直接経費: 19,700千円、間接経費: 5,910千円)
2024年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2023年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2022年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2021年度: 16,640千円 (直接経費: 12,800千円、間接経費: 3,840千円)
|
キーワード | ブレイン・マシン・インタフェース / ブレインマシンインタフェース / 信号処理 / 脳計測 / 神経音楽学 |
研究開始時の研究の概要 |
想像している音楽を脳波により再生する課題に,神経科学,脳外科学,情報学を融合したアプローチで挑戦する.そのために,適切な被験者実験によって,非侵襲の頭皮脳波だけでなく,開頭手術による頭蓋内脳波を計測する.このように計測した脳波データから,想像音楽をデコードするための深層学習技術を確立させる.想像音楽のデコードによって,脳における音楽情報処理の神経学的理解が加速度的に進むだけでなく,ブレイン・マシン・インタフェース技術と音楽情報検索技術を融合させることができる.このように,心理学・神経科学・音楽学・情報学を融合した「情報学的神経音楽学」の創成につなげる.
|
研究実績の概要 |
想像している音楽(music imagery)を脳波により再生する課題に,神経科学,脳脳外科学,情報学を融合したアプローチで挑戦する.そのために,適切な心理物理課題による被験者実験によって非侵襲の頭皮脳波だけでなく,開頭手術による頭蓋内脳波を計測し,より質の高いデータを獲得する.このように計測した脳波データから,想像音楽をデコードするための深層学習技術を確立させることが本研究の目的である.本年度は以下の研究を実施した. ① 等間隔ではないリズム(例えば ♪・♪・♪♪♪など)の想像について,前年度以前に非侵襲実験で計測したデータに対して,深層学習による推定を試みた. ② 侵襲実験:頭蓋内脳波計測(順天堂大学) 侵襲実験は,順天堂大学脳神経外科で,てんかんの外科治療のために頭蓋内に電極を留置している患者を対象にする.基本的には,側頭葉に電極を留置した,部分てんかんの患者に実験に参加してもらい,合計 3 名の脳波を計測することができた.音声デコーディングの先行研究から,想像の場合が最も困難であると思われる.そこで,実験参加者には,想像だけでなく,発声と傾聴の 3 つのタスクを課す.発声タスクでは,メロディを実際に発声してもらう.発声のタイミングを脳波と同期させるため,課題の指示プログラムを制作しした.これによって,同期を取りながら脳波を計測する事ができるようになった.想像タスクは,発声とほぼ同様であるが,頭の中で画面に指示するタスクを想像する.脳波収録の際には,発声と同様,トリガ信号を記録する.傾聴タスクは,発声・想像の両タスクで用いた音楽を聴くタスクである. また,利用するメロディは,「ドレミファ」のような簡単な音階と,有名曲・無名曲を,プロの作曲家に依頼することで作曲した.
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
順天堂大学での非侵襲実験で用いるためのメロディを作曲するために時間がかかったこと,また,実験提示プログラムの作成は,メロディが準備されるまで作成できなかったことによる.さらに,脳波計測アンプ(脳波計)に不具合が見つかり,データが正しく記録されないトラブルもあった.この原因究明に時間を要したことから,研究の進捗がやや遅れ気味である.
|
今後の研究の推進方策 |
脳波アンプの不具合については,まだ原因が完全には解明できてないため,これを早急に解決する必要がある.
|