• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

言語情報のneural decodingによる意思伝達支援システムの開発

Research Project

Project/Area Number 18J14871
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Perceptual information processing
Research InstitutionNara Institute of Science and Technology

Principal Investigator

渡部 宏樹  奈良先端科学技術大学院大学, 情報科学研究科, 特別研究員(DC2)

Project Period (FY) 2018-04-25 – 2020-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥1,700,000 (Direct Cost: ¥1,700,000)
Fiscal Year 2018: ¥900,000 (Direct Cost: ¥900,000)
Keywords脳情報デコーディング / 脳波 / 機械学習
Outline of Annual Research Achievements

本研究は、音声言語処理時の脳波と音声リズム間の位相が一致する位相同期現象に着目して、音声聴取・発話想像時の脳波からその音声を識別することを目的とした。そのために、音声発話文を聴取時の脳波から聴取した発話文を予測する機械学習モデルの構築を実施した(実験1)。また、体動を必要としない音声コミュニケーション手段として応用することを想定し、実験1と同様の手法で、発話想像時の脳波から想像した発話内容を予測できるかどうかを検証した(実験2)。具体的には、(a) 発話想像時の脳波振動が想像音声のリズムパターンと位相同期するかどうか、 (b) 発話想像時の脳波からどれほど正確に発話想像音声を識別できるかどうかを検証した。
実験1では、日本語の発話音声文(3種類)聴取時の脳波からどの音声文を聴取していたかを機械学習モデルを用いて予測した。その結果、2-50 Hz周波数帯の位相情報を特徴量として訓練したテンプレートマッチングが最高識別正解率55.9%を示し、従来手法より有意な改善となった。また、leave-one-subject-out交差検証法によって、この識別手法が異なるユーザーへの汎化性能を有することを明らかにした。
実験2では、3種類のリズムが異なる無意味文(「バーバーバババ」等)の発話想像時の脳波を計測した。発話想像音声は観測不可だが、発話音声と発話想像音声は音響特徴が類似するため、音声発話課題時の発話音声を発話想像音声として扱った。発話想像時の脳波から発話音声の音声包絡を回帰した結果、統計的有意な相関係数が得られ、発話想像時の脳波と発話想像音声のリズムが一致することが示唆された。また、テンプレートマッチングにより、発話想像時の脳波から想像した無意味文を予測した結果、識別正解率は有意にチャンスレベル(33.3%)を上回り、発話想像時の位相同期現象を用いた発話想像文識別の有用性を示した。

Research Progress Status

翌年度、交付申請を辞退するため、記入しない。

Strategy for Future Research Activity

翌年度、交付申請を辞退するため、記入しない。

Report

(1 results)
  • 2018 Annual Research Report
  • Research Products

    (2 results)

All 2019 2018

All Journal Article (1 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (1 results)

  • [Journal Article] Neural Oscillation-Based Classification of Japanese Spoken Sentences During Speech Perception2019

    • Author(s)
      Hiroki Watanabe, Hiroki Tanaka, Sakriani Sakti, Satoshi Nakamura
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E102.D Issue: 2 Pages: 383-391

    • DOI

      10.1587/transinf.2018EDP7293

    • NAID

      130007586194

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2019-02-01
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Sentence classification based on phase patterns in EEG neural oscillation during imagined speech2018

    • Author(s)
      Watanabe. H., Tanaka, H., Sakti, S. & Nakamura, S.
    • Organizer
      The 41th Annual Meeting of the Japan Neuroscience Society
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-05-01   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi