2019 Fiscal Year Annual Research Report
ヒト脳及び人工脳ネットワークにおける多感覚的な物体属性情報の表現
| Project/Area Number |
17H01756
|
|---|
| Research Institution | National Institute for Physiological Sciences |
|---|
Principal Investigator |
郷田 直一 生理学研究所, システム脳科学研究領域, 助教 (30373195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
蒲池 みゆき 工学院大学, 情報学部(情報工学部), 教授 (70395101)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | 視覚 / 多感覚 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、脳が、視覚入力から非視覚的な物体属性（物体表面・内部の物理的性質や状態）や概念的知識（物体の機能や扱い方など）についての情報へとどのように変換し、認識に利用しているのかを明らかにすることである。特に、次の仮説、「腹側高次視覚野は、「見て触れる」、「見て味わう」といった多感覚の経験を通して視覚特徴と非視覚属性（聴覚・触覚・嗅覚・味覚的物体特性）との統計的相関を学習し、非視覚的物体属性と相関する視覚特徴を抽出・表現している」に関して画像工学、実験心理学的解析、脳機能イメージングによる脳情報表現解読、および人工深層ニューラルネットワークを用いたシミュレーションにより多角的に検証する。
これまでは「物体」の非視覚属性の知覚・認識や多感覚統合について研究を進めてきたが、本研究の仮説は「環境」の知覚にも当てはまる可能性がある。このことに注目し、新たに、バーチャルリアリティ(VR)環境下において「物体」の知覚に加えて「環境」の知覚についても検討を開始した。VR環境下では、視覚特徴と非視覚属性の関係を人工的に操作しやすいといった利点がある。これまで、VR環境下において、体性感覚的な風の強さの知覚が視覚情報によって影響を受ける、すなわち、風の知覚において、視覚情報と体性感覚情報との間に相互作用がみられることを見出し、本結果を国際学会において報告した。引き続き、より詳細な検討を行っている。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度において、これまでに開発した、深層ニューラルネットワークを用いた物体画像の非視覚属性の操作手法を改良する計画であったが、まだ問題が解決できていない。このため、操作画像を用いた心理実験とfMRI実験は来年度以降に実施する予定である。一方、新たに取り組んだVR環境下の心理実験において、一定の視覚・非視覚属性の相互作用が確認できたのは成果である。VR環境下で、視覚・非視覚属性の相関を人工的に操作してその影響を調べる研究に繋げていくことが期待できる。
|
| Strategy for Future Research Activity |
引き続き、非視覚属性操作画像の合成手法の改良を進め、本手法により非視覚属性を操作した画像を用いて心理実験を実施し、実際に属性操作が実現できているかを確認する。さらに同画像に対する脳活動を計測するfMRI実験を行う。さらに、並行して、VR環境下で、物体や環境の知覚における視覚属性と体性感覚の間の相互作用をより詳細に調べる。
|
Research Products
(1 results)
