| 研究課題/領域番号 |
21K18304
|
|---|
| 研究機関 | 長岡技術科学大学 |
|---|
研究代表者 |
和田 安弘 長岡技術科学大学, 工学研究科, 教授 (70293248)
|
|---|
| 研究分担者 |
大石 潔 長岡技術科学大学, 工学研究科, 教授 (40185187)
南部 功夫 長岡技術科学大学, 工学研究科, 准教授 (40553235)
佐藤 貴紀 秋田工業高等専門学校, その他部局等, 助教 (60840759)
矢野 昌平 長岡工業高等専門学校, 電気電子システム工学科, 教授 (90332006)
|
|---|
| 研究期間 (年度) |
2021-07-09 – 2025-03-31
|
| キーワード | 自己想起型BCI / ニューロフィードバック / 仮想的脳内サウンド |
|---|
| 研究実績の概要 |
本申請課題で提案する研究は、 想起型BCI手法を実現するために脳内での空間位置情報を利用することにある。開発手法をニューロフィードバック等に応用することで、想起BCI実現を加速させる。
我々は事前の実験で、耳軸音圧レベル差方式（耳軸上の脳内へのサウンド定位）等による検討を進めてきたが、被験者毎の脳内定位感の再現性等が低い結果を得た。また、理論的な音響に関する生体（脳）内モデルなども現状では知見が十分得られる状況ではない。そこで、入力データから出力データへのマッピング関数を、いわゆる学習アルゴリズムによって構築出来るニューラルネットワーク（NN）の応用による脳内定位のモデル化の方法を確認することとし、まずは、頭外での音源の定位に関して、ニューラルネットワークによる方法を検討した。
頭外音像定位のためには、基本的には、頭部伝達関数(Head-Related Transfer Function：HRTF)を構成することによって、イヤホン等を用いた受聴時でも立体的な空間音像を実現出来る。この伝達特性をNNで獲得するためのアーキテクチャとして、時系列データに対して汎用性が示唆されているTemporal Convolutional Networkを使用し、誤差関数として頭部伝達関数の周波数領域の情報の差異を計算するスペクトル歪み(SD)と時間領域の情報の差異を計算する信号対偏差比(SDR)を用いることで、インパルス応答・周波数応答の両方の側面から生成した頭部伝達関数を学習によって構成した。被験者を用いて行った定位精度確認実験では、定位誤差、前後誤判定率ともに測定したHRTFを用いた仮想音とNNで生成したHRTFを用いた仮想音で有意差は確認されず、生成音が極端に異なる音として認識されているわけでは無いことが確認され、NNによるHRTFの実現の可能性が示唆された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
事前の実験において、耳軸音圧レベル差方式による検討を進めてきたが、被験者毎の脳内定位感の再現性等が低い結果を得たことで、研究計画を一部修正し、今後の研究は実音源あるいは仮想音源を使って、下記の条件による合成音の定位感に関するデータを採取し、個人ごとの音源と定位感のマッピングモデルをNNによって構成し、脳内音源の定位の可能性を確認する。NNモデルによる構成は可能であると考えている。
○耳軸音圧レベル差方式（耳軸上の脳内へのサウンド定位） 両耳に音圧レベル差をつける ことで耳軸上に脳内サウンドを配置する
耳軸上における定位が可能になれば脳内部に仮想的な脳内サウンドを定位させ、脳内への音刺激を利用した新奇なNFBシステム を開発につなげることが可能と考える。来年度に関しては、（１）を重点的に計測し、データ収集を推進する。これによって今年度のNNによるモデル化へ結び付けることを検討する。
|
| 今後の研究の推進方策 |
今後の研究は実音源あるいは仮想音源を使って、下記の３つの条件による合成音の定位感に関するデータを採取し、個人ごとの音源と定位感のマッピングモデルをNNによって構成し、脳内音源の定位の可能性を確認する。
（１）耳軸音圧レベル差方式（耳軸上の脳内へのサウンド定位） 両耳に音圧レベル差をつける ことで耳軸上に脳内サウンドを配置する
（２）一平面内一音源方式（頭外水平内の複数音源の合成音による定位） 頭外音像の2箇所同時刺激による脳内サウンド定位の検討。 例えばA,B音源の同時受聴でC位置に仮想音源が聞こえる
（３）多平面・多音源方式 （複数平面・複数音源による脳内定位位置の多様化） 複数の平面内の複数位置の音源を使った脳内サウンドの検討 →多様な脳内サウンド定位の可能性検討
以下の研究につなげていく。脳内部に仮想的な脳内サウンドを定位させ、脳内への音刺激を利用した新奇なNFBシステム を開発につなげる。来年度に関しては、（１）を重点的に計測し、データ収集を推進する。これによって今年度のNNによるモデル化へ結び付けることを検討する。
|
| 次年度使用額が生じた理由 |
事前の実験で、耳軸音圧レベル差方式（耳軸上の脳内へのサウンド定位）等による検討を進めてきたが、被験者毎の脳内定位感の再現性等が低い結果を得た。そのため、ニューラルネットワークによるモデル構築に向けた研究計画を進めることとしたため、予算を繰り越すこととした。また、コロナ禍により、国内外の成果発表旅費、被験者実験謝礼等においても、当初計画から繰り越すこととしている。次年度以降においては、ニューラルネットワークによるモデル構築に向けた高性能の計算機システムや、ニューロフィードバックに向けた脳計測装置等の手配を検討する予定である。
|
