Reconstructing perceived stereoscopic scenes from fMRI/MEG brain activity

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K20021
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Research Field: Human informatics and related fields
• Research Institution: National Institute of Information and Communications Technology
• Principal Investigator: Ban Hiroshi 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00467391)
• Project Period (FY): 2017-06-30 – 2020-03-31
• Keywords: fMRI / 視知覚 / 立体視 / 3D / 認知 / 物体知覚 / バーチャルリアリティ / データベース

Outline of Final Research Achievements

The purpose of this study is to reconstruct 3D images based on the brain response patterns, obtained using fMRI and MEG, corresponding to perceived stereoscopic feelings caused when observers view 2D (not 3D) images. As the first step, we have developed a 3D image database, called "3D Koto(ancient city)", which consists of over 10,000 4K 3D stereo images of natural scenes taken in Kyoto and Nara. As the second step, we have developed fMRI brain activity database which consists of 5 observers' fMRI brain responses for 2,400 3D images selected from the "3D Koto" database. We are now working on the elaboration of a model to reconstruct the stereoscopic structures represented in human brain responses. We are now trying to our best so as to publish the model and papers as soon as possible. The related database and fMRI responses will be also organized so that they can be publicly available for free.

Free Research Field

実験心理学

Academic Significance and Societal Importance of the Research Achievements

ヒトの「立体感」と視対象の物理的な特性は、必ずしも１対１に対応しないことが知られている。ここで、ヒトの脳内に再現された「立体感」を画像として復元できれば、その画像と視対象そのものを直接比較することが可能となる。この比較により、例えば技術的には問題なく製作されたはずの3D CGに対して、ヒトがそれほどリアルさを感じないような場合に、臨場感を増強させるためには視対象に何が欠けているのか、あるいは逆にヒトがリアルさを感じているのは視対象のどの部位なのかを同定する新しい映像評価技術の開発へと繋がる。