仮想音源定位と錯聴現象によるVR手法を用いた多次元聴覚BCIの開発
| Project/Area Number |
23K11811
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90110:Biomedical engineering-related
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
加納 慎一郎 芝浦工業大学, 工学部, 教授 (00282103)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
|
|---|
| Keywords | BCI / 脳波 / 音像定位 / 策調 / VR（仮想現実感） / 錯聴 |
|---|
| Outline of Research at the Start |
脳活動信号からユーザの意図を抽出するBCI（brain-computer interface）の制御には，視覚刺激が用いられることが多い．しかし，日常生活においてもヒトは視覚に多くを依存しているため， BCIに視覚機能を占有されてしまうと，使用時には他の行動が一切できなくなるのが問題であった．
そこで本研究では，仮想現実感（VR）手法と，聴覚系のもつ錯覚（錯聴）現象を利用して，視覚刺激に匹敵するような空間的な広がり（聴空間）と，音色，およびその時間変化からなる多次元の特徴を持つ音をユーザに知覚させ，それに注意を向けたときに生じた脳波からユーザの意図を検出する聴覚駆動型BCIを開発する．
|
| Outline of Annual Research Achievements |
仮想音像知覚のための刺激提示方法の検討：8チャネルのスピーカをユーザの周囲に配置し，スピーカアレイで聴空間上に定位する音像をユーザに知覚させるための手法について検討を行った．研究代表者の研究グループで以前行っていた，隣接する2個のスピーカの中間位置に音像を仮想定位させる方法に加え，2次元上に配置する3，4個のスピーカの内部に
仮想定位させることで音像の仮想定位を行うシステムを構築し，事象関連電位の計測実験を開始した．
バイノーラル刺激による聴覚VR刺激の生成と誘発応答計測：ヘッドフォンによるバイノーラル刺激によって，聴空間上に定位する音像をユーザに知覚させるための刺激方法を検討した．聴覚VR刺激作成ソフトウェア Resonance Audio（Google），3D Tune-In（3D Tune-In Project，United Kingdom）を用いて，聴覚VR刺激の作成と，それによって生じる事象関連電位の計測実験を実施した．その結果，実音源に比べて方向の失認が認められ，また，仮想音源の定位が可能な範囲が十分ではないという問題点があったものの，聴空間内の任意の位置に仮想定位された音像によって生じる事象関連電位の計測が可能であることが示された．今後，音像定位能力の向上と仮想音源の定位が可能な空間位置の範囲の拡大を目指す．
仮想音像定位と錯聴現象を用いた音脈分凝知覚の方法論の提案：錯聴現象を利用して，ユーザに同時提示される異なる周波数帯域の音脈（メロディー，ストリーム）を別々に知覚（分凝知覚）させるための方法論を確立した．これを用いて，事象関連電位（P300），および注意によって変調される脳波成分のひとつである聴性定常反応（auditor steady-state evoked response: ASSR）を検出するBCIを提案し，開発を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
スピーカアレイを用いた実空間内での仮想音像定位の精度が，研究スペースの都合で高くならない．現在試行錯誤中である．ほかの研究計画についてはおおむね順調に進行できている．
|
| Strategy for Future Research Activity |
バイノーラル刺激による聴覚VR刺激の生成の精度向上と，処理の完全リアルタイム化を意識して研究を行う計画である．また，今後，HMDを用いた聴覚VR．および視聴覚VRについてもについて検討を開始できればと考えている．
|
Report
(1 results)
Research Products
(10 results)
