脳波・画像特徴・知覚の相関解析と合成に基づく視覚認知機構の統合的研究
| Project/Area Number |
22KJ0605
|
|---|
| Project/Area Number (Other) |
21J20898 (2021-2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2021-2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 10040:Experimental psychology-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
織間 大気 (2021, 2023) 東京大学, 総合文化研究科, 特別研究員(DC1)
|
|---|
| Research Fellow |
織間 大気 (2022) 東京大学, 総合文化研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,300,000 (Direct Cost: ¥1,300,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥400,000 (Direct Cost: ¥400,000)
Fiscal Year 2021: ¥500,000 (Direct Cost: ¥500,000)
|
|---|
| Keywords | 脳波 / 画像統計量 / 深層学習 / 視覚誘発電位 / デコーディング / 深層生成モデル |
|---|
| Outline of Research at the Start |
近年の心理物理学的・神経生理学的研究から，人間の脳は自然画像の統計的な構造を利用して複雑な物体や情景，多彩な材質や質感を即座に知覚することが知られている．本研究では，物体表面や情景など様々な種類の自然画像を用い，人間の視覚野において刺激の持つ特徴量がどれほどのスピード，どのような順序で符号化されているか，および種々の認知的・感性的判断においてそれらの特徴量がどのように利用されているかということを，行動実験，脳波解析，および深層学習を駆使した統合的アプローチにより解明する．
|
| Outline of Annual Research Achievements |
昨年度までに，自然表面画像に対する視覚誘発電位を計測し，それを入力とし，対応する材質カテゴリ等を分類するモデルや，視覚刺激を再構成する深層生成モデルの構築に着手した．その結果，自然表面の材質のカテゴリや表面特性（明るさ，滑らかさ等）の分類精度は各々が異なる時間ダイナミクスを見せ，それぞれの特性が異なる潜時で符号化される可能性が示唆された．また，学習された深層生成モデルは，テストデータの視覚誘発電位のみから対応する視覚刺激そのものを再構成することができた．これらの結果は国内外の学会で発表され，様々な研究者から指摘をいただいたうえで修正を重ね，結果をまとめてプレプリントとして公開した．また，国際誌へ筆頭原著論文として投稿中である．
また，以上の研究と並行して進めていた自然情景画像に対する視覚誘発電位の解析手法も確立された．脳波データからの分類を行うために構築されたEEGNetと呼ばれるモデルに視覚誘発電位を入力し，対応する自然情景画像の情景カテゴリや情景特性（自然さ，開放性，複雑性）を分類した．そのモデルに対して，Grad-CAMを適用し，入力した脳波のどの部分が分類に貢献したかを可視化することにより，間接的に，自然情景カテゴリや情景特性の符号化に寄与した潜時や脳部位を可視化した．この結果は国内外の学会で発表し，一部の学会では賞を授与された．また，国際誌へ筆頭原著論文として採択された．
研究期間を通して，当初目標としていたテクスチャ状の視覚刺激に対する視覚誘発電位の解析にとどまらず，自然情景に対する視覚誘発電位の解析にまで踏み込むことができた．結果は論文として採択されたため，一定の成果は得られたと考えられる．
|
Report
(3 results)
Research Products
(19 results)
