High-quality reconstruction of images and sounds from EEG signals
| Project/Area Number |
22K19807
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
本吉 勇 東京大学, 大学院総合文化研究科, 教授 (60447034)
|
|---|
| Project Period (FY) |
2022-06-30 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2023: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2022: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
|
|---|
| Keywords | 脳波 / ＢＭＩ / 画像 / 音声 / 脳 / BMI / デコーディング / 視覚 |
|---|
| Outline of Research at the Start |
近年，脳活動データから観察者の認識内容のみならず見た映像そのものを復元する研究が進んでいますが，fMRIの巨大なデータを用いてもそれは容易ではありません．本研究では，低次元の特徴統計量により知覚が決まる「テクスチャ」に着目し，データ量の少ない脳波データから木々や肌などの複雑なテクスチャ画像を写真並みの高い質感で復元する新たな深層学習技術を開発します．また，同様の技術を様々な環境音の復元にも応用します．
|
| Outline of Annual Research Achievements |
(1) 20の異なる材質カテゴリからなる約200の物体表面画像に対する視覚誘発電位を計測し，SVMなどの機械学習やEEGNetなどの深層モデルを用いて脳波から材質カテゴリや光沢などの材質特性知覚の判別を試みた結果，いずれも200 ms程度の潜時で十分に判別が可能であることを見出した．さらに，MVAEを用いて画像の深層特徴を脳波から逆推定し，表面のカラー画像そのものを写真レベルの精細さで再構成することに成功した．これらの知見を国内外の学会で発表し，発表賞を得た． (2) 13の異なるカテゴリからなる約200の自然情景画像に対する視覚誘発電位を計測し，EEGNetを用いて抽出した脳波の深層特徴に基づいて情景のカテゴリや人工性・開放性などのプロパティを判別可能であることを見出した．さらに，gradCAMを適用して，どの電極のどの時刻の脳波が判別に寄与したかを示すマップを形成した．その結果，異なるプロパティの判別では異なる時空間マップが得られることがわかった．これらの知見をプリプリントとして公開後，国際学術誌に投稿した．また，(2)と同様の手法で情景画像を復元し，その画像から情景カテゴリの認識が可能であるかどうかを調べる心理実験研究を開始した．(3) 約200の多彩な自然音について聴覚誘発電位を計測し，別の研究で得ていた音響テクスチャ知覚の二段階スペクトル空間を利用した逆相関分析を適用した．その結果，種々の一次・二次周波数帯域と相関する電位成分を抽出することに成功した．この知見を基礎として，深層モデルを用いた分析を開始した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
視覚については，当初の目的である脳波からの高品質の画像復元に成功しつつある．また，復元や判別の性能を決定づけている情報を同定するための技術開発も進展した．聴覚については，画像と異なり音声そのものが動的に変動するため，脳波との関係を解析するには別の方途が必要となることがはっきりした．
|
| Strategy for Future Research Activity |
脳波から音声を復元する技術の開発を本格化するとともに，(現時点では困難だと想像される)位置関係の情報を含む情景や物体の画像の復元を可能にする技術の開発に挑戦する．
|
Report
(1 results)
Research Products
(7 results)
