Brain Decoding for Super-resolution fMRI with unsupervised learning

2021 Fiscal Year Final Research Report

• Project/Area Number: 17K00312
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Intelligent informatics
• Research Institution: Kochi University of Technology
• Principal Investigator: Yoshida Shinichi 高知工科大学, 情報学群, 教授 (30334519)
• Co-Investigator(Kenkyū-buntansha): 岡本 一志 電気通信大学, 大学院情報理工学研究科, 准教授 (10615032) ; 佐伯 幸郎 神戸大学, システム情報学研究科, 特命助教 (40549408)
• Project Period (FY): 2017-04-01 – 2022-03-31
• Keywords: 深層ニューラルネットワーク / MRI / 脳情報デコーディング / 超解像アルゴリズム / 機械学習 / extreme Learning Machine / CNN / support vector machine

Outline of Final Research Achievements

We developed a super-resolution method for 3-dimensional brain MRI data using convolutional neural network and generative adversarial model. We utilized 2-dimensional RFB-ESRGAN and nESRGAN for 3-dimensional brain data. The originality of our model is using 2-step 2-dimensional model for 3-dimensional data and the result shows that the proposed method achieved the better result compared with those of 3D SRCNN and 3D SRGAN in terms of PSNR, SSIM, and LPIPS. For brain decoding we conducted the two experiment. One is the prediction of visual stimuli of face expression using fMRI brain data with SVM and ELM. The other is the prediction of Big Five score using structural MRI brain data with 3D CNN. The result shows that the accuracy of prediction of face expression 80% and the accuracy of prediction of Big Five score is 70%.

Free Research Field

人工知能

Academic Significance and Societal Importance of the Research Achievements

3次元MRIデータに対して2次元深層ニューラルネットワークモデルを用いることで、計算コストの削減のみならず、超解像化の精度を向上できたことは学術的な意義があるものであり、3次元データがしばしば使われる医療分野への深層学習の適用をスムースに進めることが可能になる。同時に、深層でないニューラルネットワークELMの脳画像への適用や、脳構造画像へのCNNの適用でBig Fiveスコアを推定したことは学術的な意義があると考えている。