2022 Fiscal Year Annual Research Report
| Project/Area Number |
22J10643
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
白川 健 京都大学, 情報学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2022-04-22 – 2024-03-31
|
| Keywords | 脳情報デコーディング / 計算論的神経科学 / 視覚科学 / 機械学習 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究課題では， 脳情報を解読する技術を拡張することによって， 動的な視知覚情報を外在化する手法を開発することを目指している． 今年度は， 事前の計画通り、動画知覚時の脳活動パターンから， 動画認識に使用される深層学習モデルの中間層の活動値を予測し， 予測された特徴量から知覚された動画を再構成する手法を確立した． 具体的には， 動画を空間成分と時間成分 (運動成分) に分解して考えた． 空間成分の再構成には， 既存の脳活動から画像再構成モデル (Shen et al., 2019) を使用した． 運動成分の再構成には， 運動を認識する深層ニューラルネットワーク (Mineault et al., 2021) の特徴量を脳活動から予測した． そして，潜在空間が滑らかな画像生成モデル (Sauer et al., 2022) の潜在特徴量から生成される動画の特徴量と脳活動から予測された特徴量に近づくように潜在特徴量を最適化することで動画を生成する手法を開発した．
また， 手法の有効性を判定するために， 動画提示時の脳活動を計測した． インターネット上から自然な動画を多数収集した (550動画) . これらの動画刺激を１名の被験者に提示し，その時の脳活動をfMRIで計測， 機械学習の手法で解析することで， 脳計測データから知覚された動画を再構成することが可能かを調べた． 再構成された動画は，知覚された動画における物体の時空間の位置や， 滑らかな運動が反映されていることを定性的， 定量的に確認した． これらの結果から， 提案した手法により脳活動から知覚された動画の運動情報を反映した再構成が可能であることが示唆された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は、事前の計画通り、脳活動から動画を再構成する手法を確立したため． 特に昨年度発表された潜在空間が滑らかな画像生成モデルを使い 滑らかな運動が反映された動画の再構成が可能であることを定性的，定量的に確認することができたため．
|
| Strategy for Future Research Activity |
現在、この手法で再構成される動画が、単純な運動成分を超えた複雑な運動情報を反映していることを主張するために，三次元空間上での物体の運動を含む動画刺激を作成し，これらの動画刺激に対する脳活動からの再構成の実施を検討している．また，これらの解析を複数の被験者で実施し，被験者によらず同様の動画再構成が可能であることを確認し，得られた結果を今年度中に論文として報告することを計画している．
|
Research Products
(1 results)
