2023 Fiscal Year Annual Research Report
| Project/Area Number |
22KJ1801
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
白川 健 京都大学, 情報学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | 脳情報デコーディング / 知覚像再構成 / 機械学習 / 生成AI |
|---|
| Outline of Annual Research Achievements |
本年度では， まず昨年度までに取り組んでいた知覚動画の再構成手法の成績評価と追加検証を行った． 同時に， 近年提案された拡散モデルを用いた生成AI技術を活用し， 脳活動からの画像再構成の性能向上を試みた． これらの手法は， 生成AIを使用して脳活動から写真のようにリアルな画像を再構成できると広く報じられていたが， 実際には手法の手続きや使用されたデータセットに大きな問題があることを発見した． 具体的には，見栄えの良い結果のみを選択的に報告していたこと， 脳活動から情報の解読が完璧であるという前提とした場合でも質的に異なる画像が生成されること， および検証に用いられるデータセットの多様性が低く， 訓練データとテストデータ間での意味的情報の重複が見られることなどを発見した． このような手法は， ヒトが知覚した画像刺激を脳活動から効果的に再構成しているかのように見えるものの， 実際は脳活動を基に訓練データに存在する限られた意味情報に分類し， その結果を基に生成AIが創出した「見せかけの再構成」に過ぎなかった． この研究成果を取りまとめOpen Science Framework（OSF）にて公開した． 現在は，この問題を深掘りし再構成手法とデータセット， および再構成の評価方法など， 背後にある問題点を明らかにすることで「知覚された画像， 動画刺激を再構成するという」研究分野の信頼性を取り戻すことを目指している． この研究の結果をまとめた論文は現在執筆中であり， 国際誌への投稿を予定している． また，同内容のポスターを2024年5月の国際学会で発表する予定である．
|
| Remarks |
正式名は "Critical assessment of generative AI methods and natural image datasets for visual image reconstruction from brain activity"
|
Research Products
(5 results)
