2022 Fiscal Year Research-status Report
脳内サウンド刺激による新奇ニューロフィードバック手法が挑む自己想起型BCI創生
| Project/Area Number |
21K18304
|
|---|
| Research Institution | Nagaoka University of Technology |
|---|
Principal Investigator |
和田 安弘 長岡技術科学大学, 工学研究科, 理事・副学長 (70293248)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大石 潔 長岡技術科学大学, 工学研究科, 教授 (40185187)
南部 功夫 長岡技術科学大学, 工学研究科, 准教授 (40553235)
佐藤 貴紀 秋田工業高等専門学校, その他部局等, 助教 (60840759)
矢野 昌平 長岡工業高等専門学校, 電気電子システム工学科, 教授 (90332006)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Keywords | 自己想起型BCI / ニューロフィードバック / 仮想的脳内サウンド |
|---|
| Outline of Annual Research Achievements |
本申請課題で提案する研究は、想起型BCI手法を実現するために脳内での空間位置情報を利用することにある。開発手法をニューロフィードバック等に応用することで、想起BCI実現を加速させる。 我々は実験において脳内定位感の再現性が十分ではない示唆を得た。また、理論的な音響に関する生体（脳）内モデルなども現状では知見が十分得られる状況ではない。そこで、入力データから出力データへのマッピング関数を、いわゆる学習アルゴリズムによって構築出来るニューラルネットワーク（NN）の応用による脳内定位のモデル化の方法を確認することとし、まずは、頭外での音源の定位に関して、ニューラルネットワークによる方法の検討を進めている。 頭外音像定位のためには、基本的には、頭部伝達関数(Head-Related Transfer Function：HRTF)を構成することによって、イヤホン等を用いた受聴時でも立体的な空間音像を実現出来る。この伝達特性をNNで獲得するためのアーキテクチャとして、時系列データに対して汎用性が示唆されているTemporal Convolutional Networkを使用し、誤差関数として頭部伝達関数の周波数領域の情報の差異を計算するスペクトル歪み(SD)と時間領域の情報の差異を計算する信号対偏差比(SDR) を用いることで、インパルス応答・周波数応答の両方の側面から生成した頭部伝達関数を学習によって構成した。被験者を用いて行った定位精度確認実験では、 定位誤差、前後誤判定率ともに測定したHRTFを用いた仮想音とNNで生成したHRTFを用いた仮想音で有意差は確認されず、生成音が極端に異なる音として認識されているわけでは無いことが確認され、NNによるHRTFの実現の可能性が示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
事前の実験において、耳軸音圧レベル差方式による検討を進めてきたが、被験者毎の脳内定位感の再現性等が低い結果を得たことで、研究計画を一部修正し、今後の研究は実音源あるいは仮想音源を使って、下記の条件による合成音の定位感に関するデータを採取し、個人ごとの音源と定位感のマッピングモデルをNNによって構成し、脳内音源の定位の可能性を確認する。耳軸音圧レベル差方式（耳軸上の脳内へのサウンド定位）で耳軸上に脳内サウンドを配置の可能性を検討している。耳軸上における定位が可能になれば脳内部に仮想的な脳内サウンドを定位させ、脳内への音刺激を利用した新奇なNFBシステムを開発につなげることが可能と考える。被験者実験によるデータ収集を推進し、モデル化へ結び付けることを検討する。
|
| Strategy for Future Research Activity |
頭内音像定位音については、耳軸上における定位に重点を置いて、以下の方式について検証を進める。（1）耳軸音圧レベル差方式（耳軸上の脳内へのサウンド定位） （2）平面内音源合成方式（頭外水平内の複数音源の合成音による定位） （3）頭外音源距離補間方式（頭外音源の距離補間による脳内への定位）。
頭内音像定位音の検証と並行してニューロフィードバックシステムの構築を進める。音を使ったニューロフィードバックシステムについてはこれまであまり研究が進められておらず、空間情報を使ったものも無いため、まずは左右のイヤホンからの2つの音を使ったシステムを構築した後、3方向以上の音源を使ったフィードバックシステムを作成する。また、頭内音像定位に近い形のものとして実音源を頭表の近くに配置したニューロフィードバックの検討なども考慮し、頭内音像定位の実現後にすぐに組み合わせることができるシステムの構築を目指す。なおニューロフィードバックに最適な脳波計測装置についても同時に検証を進める。
|
| Causes of Carryover |
ニューラルネットワークによるモデル構築に向けた研究計画を進めることとしたため、予算を繰り越すこととした。また、コロナ禍により、被験者実験が困難であったことや、国内外の成果発表の見合わせ等により被験者実験謝礼や旅費等においても、当初計画から繰り越すこととしている。ニューラルネットワークによるモデル構築に向けた 高性能の計算機システムや、ニューロフィードバックに向けた脳計測装置等の手配を検討する予定である。
|
