2023 Fiscal Year Annual Research Report
脳波・画像特徴・知覚の相関解析と合成に基づく視覚認知機構の統合的研究
| Project/Area Number |
22KJ0605
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
織間 大気 東京大学, 総合文化研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | 脳波 / 画像統計量 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
昨年度までに，自然表面画像に対する視覚誘発電位を計測し，それを入力とし，対応する材質カテゴリ等を分類するモデルや，視覚刺激を再構成する深層生成モデルの構築に着手した．その結果，自然表面の材質のカテゴリや表面特性（明るさ，滑らかさ等）の分類精度は各々が異なる時間ダイナミクスを見せ，それぞれの特性が異なる潜時で符号化される可能性が示唆された．また，学習された深層生成モデルは，テストデータの視覚誘発電位のみから対応する視覚刺激そのものを再構成することができた．これらの結果は国内外の学会で発表され，様々な研究者から指摘をいただいたうえで修正を重ね，結果をまとめてプレプリントとして公開した．また，国際誌へ筆頭原著論文として投稿中である．
また，以上の研究と並行して進めていた自然情景画像に対する視覚誘発電位の解析手法も確立された．脳波データからの分類を行うために構築されたEEGNetと呼ばれるモデルに視覚誘発電位を入力し，対応する自然情景画像の情景カテゴリや情景特性（自然さ，開放性，複雑性）を分類した．そのモデルに対して，Grad-CAMを適用し，入力した脳波のどの部分が分類に貢献したかを可視化することにより，間接的に，自然情景カテゴリや情景特性の符号化に寄与した潜時や脳部位を可視化した．この結果は国内外の学会で発表し，一部の学会では賞を授与された．また，国際誌へ筆頭原著論文として採択された．
研究期間を通して，当初目標としていたテクスチャ状の視覚刺激に対する視覚誘発電位の解析にとどまらず，自然情景に対する視覚誘発電位の解析にまで踏み込むことができた．結果は論文として採択されたため，一定の成果は得られたと考えられる．
|
