• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

仮想音源定位と錯聴現象によるVR手法を用いた多次元聴覚BCIの開発

Research Project

Project/Area Number 23K11811
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 90110:Biomedical engineering-related
Research InstitutionShibaura Institute of Technology

Principal Investigator

加納 慎一郎  芝浦工業大学, 工学部, 教授 (00282103)

Project Period (FY) 2023-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
KeywordsBCI / 脳波 / 音像定位 / 策調 / VR(仮想現実感) / 錯聴
Outline of Research at the Start

脳活動信号からユーザの意図を抽出するBCI(brain-computer interface)の制御には,視覚刺激が用いられることが多い.しかし,日常生活においてもヒトは視覚に多くを依存しているため, BCIに視覚機能を占有されてしまうと,使用時には他の行動が一切できなくなるのが問題であった.
そこで本研究では,仮想現実感(VR)手法と,聴覚系のもつ錯覚(錯聴)現象を利用して,視覚刺激に匹敵するような空間的な広がり(聴空間)と,音色,およびその時間変化からなる多次元の特徴を持つ音をユーザに知覚させ,それに注意を向けたときに生じた脳波からユーザの意図を検出する聴覚駆動型BCIを開発する.

Outline of Annual Research Achievements

仮想音像知覚のための刺激提示方法の検討:8チャネルのスピーカをユーザの周囲に配置し,スピーカアレイで聴空間上に定位する音像をユーザに知覚させるための手法について検討を行った.研究代表者の研究グループで以前行っていた,隣接する2個のスピーカの中間位置に音像を仮想定位させる方法に加え,2次元上に配置する3,4個のスピーカの内部に
仮想定位させることで音像の仮想定位を行うシステムを構築し,事象関連電位の計測実験を開始した.

バイノーラル刺激による聴覚VR刺激の生成と誘発応答計測:ヘッドフォンによるバイノーラル刺激によって,聴空間上に定位する音像をユーザに知覚させるための刺激方法を検討した.聴覚VR刺激作成ソフトウェア Resonance Audio(Google),3D Tune-In(3D Tune-In Project,United Kingdom)を用いて,聴覚VR刺激の作成と,それによって生じる事象関連電位の計測実験を実施した.その結果,実音源に比べて方向の失認が認められ,また,仮想音源の定位が可能な範囲が十分ではないという問題点があったものの,聴空間内の任意の位置に仮想定位された音像によって生じる事象関連電位の計測が可能であることが示された.今後,音像定位能力の向上と仮想音源の定位が可能な空間位置の範囲の拡大を目指す.

仮想音像定位と錯聴現象を用いた音脈分凝知覚の方法論の提案:錯聴現象を利用して,ユーザに同時提示される異なる周波数帯域の音脈(メロディー,ストリーム)を別々に知覚(分凝知覚)させるための方法論を確立した.これを用いて,事象関連電位(P300),および注意によって変調される脳波成分のひとつである聴性定常反応(auditor steady-state evoked response: ASSR)を検出するBCIを提案し,開発を行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

スピーカアレイを用いた実空間内での仮想音像定位の精度が,研究スペースの都合で高くならない.現在試行錯誤中である.ほかの研究計画についてはおおむね順調に進行できている.

Strategy for Future Research Activity

バイノーラル刺激による聴覚VR刺激の生成の精度向上と,処理の完全リアルタイム化を意識して研究を行う計画である.また,今後,HMDを用いた聴覚VR.および視聴覚VRについてもについて検討を開始できればと考えている.

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (10 results)

All 2024 2023 Other

All Int'l Joint Research (1 results) Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (4 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results) Book (1 results)

  • [Int'l Joint Research] Radboud University(オランダ)

    • Related Report
      2023 Research-status Report
  • [Journal Article] ブレイン・コンピュータ インターフェースの多元化へ向けて ~聴覚BCIを中心として~2024

    • Author(s)
      加納 慎一郎
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: CAS2023-104/ICTSSL2023-57

    • Related Report
      2023 Research-status Report
  • [Journal Article] The influence of pitch modulation on the performance of a BCI-based language training system2023

    • Author(s)
      S. Kojima, M. Musso, C. Aalberts, B. E. Kortenbach, S. Milosevska, K. de Wi, S. Kanoh, M. Tangermann
    • Journal Title

      Proceedings of the 10th International Brain-Computer Interface Meeting 2023

      Volume: - Pages: 84-84

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Towards realizing multi-class auditory brain-computer interface paradigm based on stream segregation: a preliminary study2023

    • Author(s)
      Simon Kojima, Shin’ichiro Kanoh
    • Journal Title

      Proceedings of the 15th Biomedical Engineering International Conference (BMEiCON)

      Volume: - Pages: 1-5

    • DOI

      10.1109/bmeicon60347.2023.10322085

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] The effect of selective attention to segregated streams on event-related potentials2023

    • Author(s)
      Naoki Mizukami, Simon Kojima, Shin’ichiro Kanoh
    • Journal Title

      Proceedings of the 15th Biomedical Engineering International Conference (BMEiCON)

      Volume: - Pages: 1-5

    • DOI

      10.1109/bmeicon60347.2023.10322094

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Presentation] ブレイン・コンピュータ インターフェースの多元化へ向けて ~聴覚BCIを中心として~2024

    • Author(s)
      加納 慎一郎
    • Organizer
      電子情報通信学会 CAS研究会/ICTSSL研究会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] The influence of pitch modulation on the performance of a BCI-based language training system2023

    • Author(s)
      S. Kojima, M. Musso, C. Aalberts, B. E. Kortenbach, S. Milosevska, K. de Wi, S. Kanoh, M. Tangermann
    • Organizer
      The 10th International Brain-Computer Interface Meeting 2023
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Towards realizing multi-class auditory brain-computer interface paradigm based on stream segregation: a preliminary study2023

    • Author(s)
      Simon Kojima, Shin’ichiro Kanoh
    • Organizer
      The 15th Biomedical Engineering International Conference (BMEiCON)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] The effect of selective attention to segregated streams on event-related potentials2023

    • Author(s)
      Naoki Mizukami, Simon Kojima, Shin’ichiro Kanoh
    • Organizer
      The 15th Biomedical Engineering International Conference (BMEiCON)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Book] 生体センシング技術開発の現状と研究開発のポイント2024

    • Author(s)
      加納 慎一郎(共著)
    • Total Pages
      228
    • Publisher
      情報機構
    • ISBN
      9784865022636
    • Related Report
      2023 Research-status Report

URL: 

Published: 2023-04-13   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi