• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

音声想起脳波からの言語表象抽出と音素識別の実証研究

研究課題

研究課題/領域番号 20K11910
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61020:ヒューマンインタフェースおよびインタラクション関連
研究機関豊橋技術科学大学

研究代表者

新田 恒雄  豊橋技術科学大学, 工学(系)研究科(研究院), シニア研究員 (70314101)

研究分担者 入部 百合絵  愛知県立大学, 情報科学部, 准教授 (40397500)
田口 亮  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (70508415)
桂田 浩一  東京理科大学, 理工学部情報科学科, 教授 (80324490)
研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2021年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2020年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワード脳波 / 音声想起 / 線形予測分析 / 音節ラベリング / 音素認識 / 母音認識 / 音節ラベリングツール / 分節情報抽出 / 超分節情報抽出 / 想起音節の認識 / 脳コンピュータインターフェース / 音声言語認識 / 脳センサー
研究開始時の研究の概要

ALS(筋委縮性側索硬化症)等の疾病により,コミュニケーション手段を持たない患者が増えている(国内で1万人,世界では35万人).脳のブローカ野は,発話に必要な音声言語情報を運動野へ伝える機能を持つが,発音器官を動かすことなく音声を想起する際も,この音声言語情報は観測される.本研究では,音声想起を利用する脳コンピュータインタフェース(BCI)が実現可能なことを実証する.注力テーマは次の三つである.(1)脳波から想起内容の特徴(言語表象)を抽出する,(2)想起内容が既知の脳波に対して,音素/音節のラベル付けを支援するツールを開発する,(3)想起単語/文に対する認識実験から,音声想起BCIの可能性を示す.

研究成果の概要

脳波からの音声想起識別は,実現するとBCI (Brain Computer Interface) 研究に大きな貢献をもたらす.我々はブローカ領域で多くの脳波を分析することで,音素に関する線スペクトラムの違いが音声言語情報を担うことを見出した.また母音言語表象を顕在化するため,線スペクトラムの固有空間を抽出する主成分分析(PCA)と,21電極×6フレーム中の最尤スペクトラムを選択する部分空間法(SM) の二つを繰り返すことにより,母音言語表象としての線スペクトラムを特定した.被検者5名の5母音{a, e, i, o, u}を用いた,CNNによる認識実験では72.6%の正解率を得た.

研究成果の学術的意義や社会的意義

BCI研究は運動制御等の分野に限られてきたが,今回,音声言語を利用することが初めて可能になった.今回は5母音に限られているが,子音の言語表象が見出されると,脳波によるタイプライターを実現できる.この技術は ,近い将来,ALS患者ほかの方達にとって,生活の質(QoL)を格段に向上するものと期待している.

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (13件)

すべて 2023 2022 2021 2020

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (12件)

  • [雑誌論文] Linguistic representation of vowels in speech imagery EEG2023

    • 著者名/発表者名
      T. Nitta, J. Horikawa, Y. Iribe, R. Taguchi, K. Katsurada, S. Shinohara, and G. Kawai
    • 雑誌名

      Frontiers in Human Neuroscience

      巻: 17 ページ: 1-8

    • DOI

      10.3389/fnhum.2023.1163578

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] 音声想起時EEG信号から言語表象を抽出する2023

    • 著者名/発表者名
      新田恒雄,堀川順正,福田拓朗,桂田浩一,鈴木大裕,入部百合絵,田口亮,篠原修二,河合剛
    • 学会等名
      人工知能学会第37回全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 日本語音声想起時EEGを用いた音節のアクセント識別2023

    • 著者名/発表者名
      福田拓朗,澤田隼,大村英史,桂田浩一,入部百合絵,田口亮,新田恒雄
    • 学会等名
      人工知能学会第37回全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 単音節音声想起時脳波からの不特定被検者母音認識2022

    • 著者名/発表者名
      山尾 元陽,入部 百合絵,桂田 浩一,田口 亮,新田 恒雄
    • 学会等名
      日本音響学会2022年春季研究発表会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 脳波(EEG)信号を言語空間へ写像する- ロゼッタストーンを読み解く2022

    • 著者名/発表者名
      新田 恒雄,桂田 浩一,入部 百合絵,田口 亮,篠原 修二,河合 剛
    • 学会等名
      人工知能学会第36回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 脳波データ用音節ラベリングツールの改良2022

    • 著者名/発表者名
      田口 亮,新田 恒雄
    • 学会等名
      人工知能学会第36回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 音声想起時脳波(EEG)の音素認識に関する検討2022

    • 著者名/発表者名
      山尾 元陽,入部 百合絵,田口 亮,桂田 浩一,新田 恒雄
    • 学会等名
      人工知能学会第36回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 脳波(EEG)における音声想起区間と無想起区間の分類2022

    • 著者名/発表者名
      鈴木 大祐,山尾 元陽,入部 百合絵,田口 亮,桂田 浩一,新田 恒雄
    • 学会等名
      人工知能学会第36回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 音節列想起時EEGを用いた音節の高低アクセント識別2022

    • 著者名/発表者名
      福田 拓朗,澤田 隼,木村 英史,桂田 浩一,山尾 元陽,入部 百合絵,田口 亮,新田 恒雄
    • 学会等名
      人工知能学会第36回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 共通空間パターンを用いた音声想起時EEGの識別2021

    • 著者名/発表者名
      細川 晃樹,山尾 元陽,入部 百合絵,田口 亮,新田 恒雄
    • 学会等名
      情報処理学会第83回全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 音声想起時脳波からの音節情報の抽出2020

    • 著者名/発表者名
      深井 健大郎,大村 英史,桂田 浩一,平田 里佳,入部 百合絵,新田 恒雄
    • 学会等名
      人工知能学会第34回全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 脳波信号を用いた音声想起時単語の認識2020

    • 著者名/発表者名
      山尾 元陽,平田 里佳,入部 百合絵, 深井 健大郎, 桂田 浩一, 新田 恒雄
    • 学会等名
      人工知能学会第34回全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 音声想起脳波データラべリング効率化のための半自動音節アライメント2020

    • 著者名/発表者名
      田口 亮,付 明川,新田 恒雄
    • 学会等名
      人工知能学会第34回全国大会
    • 関連する報告書
      2020 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi