• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

High-quality reconstruction of images and sounds from EEG signals

Research Project

Project/Area Number 22K19807
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionThe University of Tokyo

Principal Investigator

本吉 勇  東京大学, 大学院総合文化研究科, 教授 (60447034)

Project Period (FY) 2022-06-30 – 2024-03-31
Project Status Granted (Fiscal Year 2022)
Budget Amount *help
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2023: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2022: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Keywords脳波 / BMI / 画像 / 音声 / 脳 / BMI / デコーディング / 視覚
Outline of Research at the Start

近年,脳活動データから観察者の認識内容のみならず見た映像そのものを復元する研究が進んでいますが,fMRIの巨大なデータを用いてもそれは容易ではありません.本研究では,低次元の特徴統計量により知覚が決まる「テクスチャ」に着目し,データ量の少ない脳波データから木々や肌などの複雑なテクスチャ画像を写真並みの高い質感で復元する新たな深層学習技術を開発します.また,同様の技術を様々な環境音の復元にも応用します.

Outline of Annual Research Achievements

(1) 20の異なる材質カテゴリからなる約200の物体表面画像に対する視覚誘発電位を計測し,SVMなどの機械学習やEEGNetなどの深層モデルを用いて脳波から材質カテゴリや光沢などの材質特性知覚の判別を試みた結果,いずれも200 ms程度の潜時で十分に判別が可能であることを見出した.さらに,MVAEを用いて画像の深層特徴を脳波から逆推定し,表面のカラー画像そのものを写真レベルの精細さで再構成することに成功した.これらの知見を国内外の学会で発表し,発表賞を得た. (2) 13の異なるカテゴリからなる約200の自然情景画像に対する視覚誘発電位を計測し,EEGNetを用いて抽出した脳波の深層特徴に基づいて情景のカテゴリや人工性・開放性などのプロパティを判別可能であることを見出した.さらに,gradCAMを適用して,どの電極のどの時刻の脳波が判別に寄与したかを示すマップを形成した.その結果,異なるプロパティの判別では異なる時空間マップが得られることがわかった.これらの知見をプリプリントとして公開後,国際学術誌に投稿した.また,(2)と同様の手法で情景画像を復元し,その画像から情景カテゴリの認識が可能であるかどうかを調べる心理実験研究を開始した.(3) 約200の多彩な自然音について聴覚誘発電位を計測し,別の研究で得ていた音響テクスチャ知覚の二段階スペクトル空間を利用した逆相関分析を適用した.その結果,種々の一次・二次周波数帯域と相関する電位成分を抽出することに成功した.この知見を基礎として,深層モデルを用いた分析を開始した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

視覚については,当初の目的である脳波からの高品質の画像復元に成功しつつある.また,復元や判別の性能を決定づけている情報を同定するための技術開発も進展した.聴覚については,画像と異なり音声そのものが動的に変動するため,脳波との関係を解析するには別の方途が必要となることがはっきりした.

Strategy for Future Research Activity

脳波から音声を復元する技術の開発を本格化するとともに,(現時点では困難だと想像される)位置関係の情報を含む情景や物体の画像の復元を可能にする技術の開発に挑戦する.

Report

(1 results)
  • 2022 Research-status Report
  • Research Products

    (7 results)

All 2023 2022

All Journal Article (2 results) (of which Int'l Joint Research: 1 results,  Open Access: 2 results,  Peer Reviewed: 1 results) Presentation (5 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Spatiotemporal cortical dynamics for rapid scene recognition as revealed by EEG decoding2023

    • Author(s)
      Orima Taiki、Motoyoshi Isamu
    • Journal Title

      bioRxiv

      Volume: -

    • DOI

      10.1101/2023.02.16.528781

    • Related Report
      2022 Research-status Report
    • Open Access
  • [Journal Article] Building a decoder of perceptual decisions from microsaccades and pupil size2022

    • Author(s)
      Nakayama Ryohei、Bardin Jean-Baptiste、Koizumi Ai、Motoyoshi Isamu、Amano Kaoru
    • Journal Title

      Frontiers in Psychology

      Volume: 13 Pages: 942859-942859

    • DOI

      10.3389/fpsyg.2022.942859

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Decoding of material perception: analysis and synthesis from EEG via DNN model.2022

    • Author(s)
      Orima, T. & Motoyoshi, I.
    • Organizer
      Society for Neuroscience
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 視覚誘発電位による物体表面質感の再構成と符号化過程の解析2022

    • Author(s)
      織間大気・本吉勇 (2022).
    • Organizer
      日本基礎心理学会第41回大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 音響テクスチャの知覚に関わる聴覚情報処理機構2022

    • Author(s)
      丸山玄徳・岡田康佑・本吉勇
    • Organizer
      日本音響学会2022年秋季研究発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] 視聴覚テクスチャの二段階スペクトルモデルと音響質感の知覚2022

    • Author(s)
      丸山玄徳・岡田康祐・本吉勇
    • Organizer
      日本視覚学会2022年夏季大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 脳波による自然情景カテゴリの分類とその符号化過程の分析2022

    • Author(s)
      織間大気・本吉勇
    • Organizer
      日本視覚学会2022年夏季大会
    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-07-05   Modified: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi