| Project/Area Number |
22KJ1801
|
|---|
| Project/Area Number (Other) |
22J10643 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 90030:Cognitive science-related
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
白川 健 京都大学, 情報学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,700,000 (Direct Cost: ¥1,700,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 脳情報デコーディング / 知覚像再構成 / 機械学習 / 生成AI / 計算論的神経科学 / 視覚科学 / 深層学習 |
|---|
| Outline of Research at the Start |
ヒトが知覚した視覚体験を，脳活動信号パターンから画像として可視化することが可能になっている．我々の日常の視覚体験は「動いている電車を見ている」のように動きがあり， これらの視覚体験を再構成するためには，ヒトが知覚した心的内容を動画として可視化できる手法が求められる． そこで， 動画を知覚している時の脳活動からその知覚された動画を再構成する技術を確立することを目的とする。
|
| Outline of Annual Research Achievements |
本年度では， まず昨年度までに取り組んでいた知覚動画の再構成手法の成績評価と追加検証を行った． 同時に， 近年提案された拡散モデルを用いた生成AI技術を活用し， 脳活動からの画像再構成の性能向上を試みた． これらの手法は， 生成AIを使用して脳活動から写真のようにリアルな画像を再構成できると広く報じられていたが， 実際には手法の手続きや使用されたデータセットに大きな問題があることを発見した． 具体的には，見栄えの良い結果のみを選択的に報告していたこと， 脳活動から情報の解読が完璧であるという前提とした場合でも質的に異なる画像が生成されること， および検証に用いられるデータセットの多様性が低く， 訓練データとテストデータ間での意味的情報の重複が見られることなどを発見した． このような手法は， ヒトが知覚した画像刺激を脳活動から効果的に再構成しているかのように見えるものの， 実際は脳活動を基に訓練データに存在する限られた意味情報に分類し， その結果を基に生成AIが創出した「見せかけの再構成」に過ぎなかった． この研究成果を取りまとめOpen Science Framework（OSF）にて公開した． 現在は，この問題を深掘りし再構成手法とデータセット， および再構成の評価方法など， 背後にある問題点を明らかにすることで「知覚された画像， 動画刺激を再構成するという」研究分野の信頼性を取り戻すことを目指している． この研究の結果をまとめた論文は現在執筆中であり， 国際誌への投稿を予定している． また，同内容のポスターを2024年5月の国際学会で発表する予定である．
|
Report
(2 results)
Research Products
(6 results)
