• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

脳波・画像特徴・知覚の相関解析と合成に基づく視覚認知機構の統合的研究

Research Project

Project/Area Number 22KJ0605
Project/Area Number (Other) 21J20898 (2021-2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2021-2022)
Section国内
Review Section Basic Section 10040:Experimental psychology-related
Research InstitutionThe University of Tokyo

Principal Investigator

織間 大気 (2021, 2023)  東京大学, 総合文化研究科, 特別研究員(DC1)

Research Fellow 織間 大気 (2022)  東京大学, 総合文化研究科, 特別研究員(DC1)
Project Period (FY) 2023-03-08 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥1,300,000 (Direct Cost: ¥1,300,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥400,000 (Direct Cost: ¥400,000)
Fiscal Year 2021: ¥500,000 (Direct Cost: ¥500,000)
Keywords脳波 / 画像統計量 / 深層学習 / 視覚誘発電位 / デコーディング / 深層生成モデル
Outline of Research at the Start

近年の心理物理学的・神経生理学的研究から,人間の脳は自然画像の統計的な構造を利用して複雑な物体や情景,多彩な材質や質感を即座に知覚することが知られている.本研究では,物体表面や情景など様々な種類の自然画像を用い,人間の視覚野において刺激の持つ特徴量がどれほどのスピード,どのような順序で符号化されているか,および種々の認知的・感性的判断においてそれらの特徴量がどのように利用されているかということを,行動実験,脳波解析,および深層学習を駆使した統合的アプローチにより解明する.

Outline of Annual Research Achievements

昨年度までに,自然表面画像に対する視覚誘発電位を計測し,それを入力とし,対応する材質カテゴリ等を分類するモデルや,視覚刺激を再構成する深層生成モデルの構築に着手した.その結果,自然表面の材質のカテゴリや表面特性(明るさ,滑らかさ等)の分類精度は各々が異なる時間ダイナミクスを見せ,それぞれの特性が異なる潜時で符号化される可能性が示唆された.また,学習された深層生成モデルは,テストデータの視覚誘発電位のみから対応する視覚刺激そのものを再構成することができた.これらの結果は国内外の学会で発表され,様々な研究者から指摘をいただいたうえで修正を重ね,結果をまとめてプレプリントとして公開した.また,国際誌へ筆頭原著論文として投稿中である.
また,以上の研究と並行して進めていた自然情景画像に対する視覚誘発電位の解析手法も確立された.脳波データからの分類を行うために構築されたEEGNetと呼ばれるモデルに視覚誘発電位を入力し,対応する自然情景画像の情景カテゴリや情景特性(自然さ,開放性,複雑性)を分類した.そのモデルに対して,Grad-CAMを適用し,入力した脳波のどの部分が分類に貢献したかを可視化することにより,間接的に,自然情景カテゴリや情景特性の符号化に寄与した潜時や脳部位を可視化した.この結果は国内外の学会で発表し,一部の学会では賞を授与された.また,国際誌へ筆頭原著論文として採択された.
研究期間を通して,当初目標としていたテクスチャ状の視覚刺激に対する視覚誘発電位の解析にとどまらず,自然情景に対する視覚誘発電位の解析にまで踏み込むことができた.結果は論文として採択されたため,一定の成果は得られたと考えられる.

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (19 results)

All 2024 2023 2022 2021

All Journal Article (5 results) (of which Peer Reviewed: 4 results,  Open Access: 5 results) Presentation (14 results) (of which Int'l Joint Research: 4 results)

  • [Journal Article] Neural basis of perceptual surface qualities: Evidence from EEG decoding.2024

    • Author(s)
      Orima, T, Wakita, S., & Motoyoshi, I.
    • Journal Title

      bioRxiv

      Volume: 2024-02

    • DOI

      10.1101/2024.02.05.578885

    • Related Report
      2023 Annual Research Report
    • Open Access
  • [Journal Article] Spatiotemporal cortical dynamics for visual scene processing as revealed by EEG decoding.2023

    • Author(s)
      Orima, T, & Motoyoshi, I.
    • Journal Title

      Frontiers in Neuroscience

      Volume: 17

    • DOI

      10.3389/fnins.2023.1167719

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Analysis and synthesis of natural texture perception from visual evoked potentials.2021

    • Author(s)
      Orima, T. & Motoyoshi, I.
    • Journal Title

      Frontiers in Neuroscience

      Volume: 15 Pages: 876-876

    • DOI

      10.3389/fnins.2021.698940

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Photorealistic reconstruction of visual texture from EEG signals.2021

    • Author(s)
      Wakita, S., Orima, T.ツ?& Motoyoshi, I.
    • Journal Title

      Frontiers in Computational Neuroscience

      Volume: 15 Pages: 15-15

    • DOI

      10.3389/fncom.2021.754587

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Textures vs non-textures: A simple computational method for classifying perceived 'texturality' in natural images.2021

    • Author(s)
      Kurosawa, F., Orima, T.,ツ?Okada, K. & Motoyoshi, I.
    • Journal Title

      i-Perception

      Volume: 12 Issue: 5 Pages: 1-7

    • DOI

      10.1177/20416695211054540

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] テクスチャ情報に基づく情景認知.2024

    • Author(s)
      織間大気・黒澤史弥・本吉勇
    • Organizer
      日本視覚学会2024年冬季大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Neural dynamics of natural scene processing across cortical areas as revealed by EEG decoding.2023

    • Author(s)
      Orima, T., & Motoyoshi, I.
    • Organizer
      VSS 2023 Annual Meeting
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 情景処理に関する皮質マップの時空間的展開: EEGNetによる解析.2023

    • Author(s)
      織間大気・本吉勇
    • Organizer
      第46回日本神経科学大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 脳波による自然情景知覚の時空間皮質ダイナミクスの分析.2023

    • Author(s)
      織間大気・本吉勇
    • Organizer
      日本基礎心理学会第42回大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Recognition, estimation, and reconstruction of surface materials by EEG.2022

    • Author(s)
      Orima, T., & Motoyoshi, I.
    • Organizer
      V-VSS 2022 Annual Meeting
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Decoding of material perception: analysis and synthesis from EEG via DNN model.2022

    • Author(s)
      Orima, T., & Motoyoshi, I.
    • Organizer
      Society for Neuroscience, 2022. Online.
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 脳波による物体表面の材質認識,質感評価,および画像合成.2022

    • Author(s)
      織間大気・本吉勇
    • Organizer
      日本視覚学会2022年冬季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 脳波からの表面質感の特性評価,材質分類,および画像復元.2022

    • Author(s)
      織間大気・本吉勇
    • Organizer
      日本視覚学会2022年冬季大会.
    • Related Report
      2022 Annual Research Report
  • [Presentation] クオリアの復号化: 脳波からの表面画像の再構成と材質分類.2022

    • Author(s)
      織間大気・本吉勇
    • Organizer
      NEURO2022(第45回日本神経科学大会)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 脳波による自然情景カテゴリの分類とその符号化過程の分析.2022

    • Author(s)
      織間大気・本吉勇
    • Organizer
      日本視覚学会2022年夏季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 視覚誘発電位による物体表面質感の再構成と符号化過程の解析.2022

    • Author(s)
      織間大気・本吉勇
    • Organizer
      日本基礎心理学会第41回大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 脳波による表面質感の特性評価,材質分類,および画像復元2022

    • Author(s)
      織間 大気,本吉 勇
    • Organizer
      第24回日本ヒト脳機能マッピング学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 脳波による物体表面の材質認識,質感評価,および画像合成2022

    • Author(s)
      織間 大気,本吉 勇
    • Organizer
      日本視覚学会2022年冬季大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Cortical dynamics of texture information processing: analysis and synthesis with EEG2021

    • Author(s)
      Taiki Orima, Suguru Wakita,& Isamu Motoyoshi
    • Organizer
      The 1st CJK International Meeting (日本神経科学会)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2021-05-27   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi