Reconstructing perceived stereoscopic scenes from fMRI/MEG brain activity
| Project/Area Number |
17K20021
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Research Field |
Human informatics and related fields
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
Ban Hiroshi 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00467391)
|
|---|
| Project Period (FY) |
2017-06-30 – 2020-03-31
|
| Project Status |
Completed (Fiscal Year 2019)
|
| Budget Amount *help |
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2018: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2017: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | fMRI / 視知覚 / 立体視 / 3D / 認知 / 物体知覚 / バーチャルリアリティ / データベース / 心理学 / 知覚 / 神経科学 / 物体視 / 脳機能イメージング / エンコーディングモデル / MEG / 3D知覚 / 実験心理学 / 物体認知 / 実験系心理学 / 認知科学 / 画像 |
|---|
| Outline of Final Research Achievements |
The purpose of this study is to reconstruct 3D images based on the brain response patterns, obtained using fMRI and MEG, corresponding to perceived stereoscopic feelings caused when observers view 2D (not 3D) images. As the first step, we have developed a 3D image database, called "3D Koto(ancient city)", which consists of over 10,000 4K 3D stereo images of natural scenes taken in Kyoto and Nara. As the second step, we have developed fMRI brain activity database which consists of 5 observers' fMRI brain responses for 2,400 3D images selected from the "3D Koto" database. We are now working on the elaboration of a model to reconstruct the stereoscopic structures represented in human brain responses. We are now trying to our best so as to publish the model and papers as soon as possible. The related database and fMRI responses will be also organized so that they can be publicly available for free.
|
| Academic Significance and Societal Importance of the Research Achievements |
ヒトの「立体感」と視対象の物理的な特性は、必ずしも１対１に対応しないことが知られている。ここで、ヒトの脳内に再現された「立体感」を画像として復元できれば、その画像と視対象そのものを直接比較することが可能となる。この比較により、例えば技術的には問題なく製作されたはずの3D CGに対して、ヒトがそれほどリアルさを感じないような場合に、臨場感を増強させるためには視対象に何が欠けているのか、あるいは逆にヒトがリアルさを感じているのは視対象のどの部位なのかを同定する新しい映像評価技術の開発へと繋がる。
|
Report
(4 results)
Research Products
(28 results)
