Extraction of versatile features from resting state fMRI using deep neural networks

• Project Area: Correspondence and Fusion of Artificial Intelligence and Brain Science
• Project/Area Number: 19H04998
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: National Center of Neurology and Psychiatry
• Principal Investigator: 山下 祐一 国立研究開発法人国立精神・神経医療研究センター, 神経研究所 疾病研究第七部, 室長 (40584131)
• Project Period (FY): 2019-04-01 – 2021-03-31
• Project Status: Completed (Fiscal Year 2020)
• Budget Amount: ¥8,970,000 (Direct Cost: ¥6,900,000、Indirect Cost: ¥2,070,000); Fiscal Year 2020: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000); Fiscal Year 2019: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
• Keywords: 計算論的精神医学 / 深層学習 / ニューラルネットワーク / 精神疾患

Outline of Research at the Start

本研究は、安静時機能的磁気共鳴画像(rsfMRI) データを高解像度(voxel-based)・階層性・非線形性を伴いながら、深層ニューラルネットワーク（DNN）を用いて解析し、脳活動の個人特徴や認知的特性を反映しうる汎用特徴量抽出技術を開発することを目的とする。さらに、開発した汎用特徴量抽出技術を統合失調症、発達障害を含む精神疾患を対象として適用し、rsfMRIデータから患者個々人の診断・疾患予後・治療反応性予測などを総合的に評価する、精神疾患の評価法開発の基盤となる技術の確立を目指す。

Outline of Annual Research Achievements

本研究課題では、安静時機能的磁気共鳴画像(rsfMRI) データを高解像度(voxel-based)・階層性・非線形性を伴いながら、深層ニューラルネットワーク（DNN）を用いて解析する技術を用いて、(1)脳活動の個人特徴や認知的特性を反映しうる汎用特徴量抽出技術の開発を行い、(2)開発した汎用特徴量抽出技術を健常者から精神疾患を対象として適用し、rsfMRIデータから患者個々人の診断・疾患予後・治療反応性予測などを総合的に評価する、精神疾患の評価法開発を探索的に検討した。
申請者らがこれまで開発した高解像度(voxel-based)のrsfMRIデータをDNNで解析する技術を用いて、脳活動の個人特徴や認知的特性を反映しうる汎用特徴量抽出技術の開発を試みた。具体的には、CNNに、rsfMRIの各フレーム（一般的なrsfMRIは10-15分間の撮像時間に対して100-200フレームのMRI画像で構成される）のオリジナル画像（約15万次元）を入力し、出力として"入力画像が誰のものであるか"という個人識別をするよう学習を行った。結果として、学習では経験していない未知のサンプル被験者の脳活動（つまり複数のフレーム画像で構成されるrsfMRI画像）を、一人の個人に由来すると認識した上で、学習で経験した人の特徴の組み合わせとして表現できることが確認された。続いて、開発した個人識別CNNによって抽出した特徴量を用いて、精神疾患（統合失調症）の診断予測を行ったところ、従来の機能的結合解析に基づく特徴量と同等以上の有効性を持つことが確認できた。
本研究で開発した汎用特徴量抽出技術を、統合失調症以外の幅広い精神疾患を対象として適用することで、rsfMRIデータから患者個々人の診断・疾患予後・治療反応性予測などを総合的に評価する、精神疾患の評価法開発に役立つ可能性が期待される。

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Paradoxical sensory reactivity induced by functional disconnection in a robot model of neurodevelopmental disorder (2021)
  • Author(s): Idei Hayato、Murata Shingo、Yamashita Yuichi、Ogata Tetsuya
  • Journal Title: Neural Networks Volume: 138 Pages: 150-163
  • DOI: 10.1016/j.neunet.2021.01.033
  • Peer Reviewed / Open Access
• [Journal Article] Neural network modeling of altered facial expression recognition in autism spectrum disorders based on predictive processing framework (2021)
  • Author(s): Takahashi Yuta、Murata Shingo、Idei Hayato、Tomita Hiroaki、Yamashita Yuichi
  • Journal Title: PsyArXiv Volume: pt4jb
  • DOI: 10.31234/osf.io/pt4jb
  • Open Access
• [Journal Article] Psychiatric disorders as failures in the prediction machine (2021)
  • Author(s): Yamashita Yuichi
  • Journal Title: Psychiatry and Clinical Neurosciences Volume: 75 Issue: 1 Pages: 1-2
  • DOI: 10.1111/pcn.13173
  • Peer Reviewed / Open Access
• [Journal Article] ミニレビュー 不確実性の推定と自閉スペクトラム症-神経ロボティクス実験による症状シミュレーション (2020)
  • Author(s): 出井 勇人、村田 真悟、尾形 哲也、山下 祐一
  • Journal Title: 精神医学 Volume: 62 Issue: 2 Pages: 219-229
  • DOI: 10.11477/mf.1405206009
  • ISSN: 0488-1281, 1882-126X
  • Year and Date: 2020-02-15
  • Peer Reviewed
• [Journal Article] Computational Psychiatry Research Map (CPSYMAP): A New Database for Visualizing Research Papers (2020)
  • Author(s): Kato Ayaka、Kunisato Yoshihiko、Katahira Kentaro、Okimura Tsukasa、Yamashita Yuichi
  • Journal Title: Frontiers in Psychiatry Volume: 11 Pages: 578706-578706
  • DOI: 10.3389/fpsyt.2020.578706
  • Peer Reviewed / Open Access
• [Journal Article] Three-dimensional convolutional autoencoder extracts features of structural brain images with a “diagnostic label-free” approach: Application to schizophrenia datasets (2020)
  • Author(s): Yamaguchi Hiroyuki、Hashimoto Yuki、Sugihara Genichi、Miyata Jun、Murai Toshiya、Takahashi Hidehiko、Honda Manabu、Hishimoto Akitoyo、Yamashita Yuichi
  • Journal Title: bioRxiv Volume: 2020
  • DOI: 10.1101/2020.08.24.213447
  • Open Access
• [Journal Article] Deep Feature Extraction for Resting-State Functional MRI by Self-Supervised Learning and Application to Schizophrenia Diagnosis (2020)
  • Author(s): Hashimoto Yuki、Ogata Yosuke、Honda Manabu、Yamashita Yuichi
  • Journal Title: bioRxiv Volume: 2020
  • DOI: 10.1101/2020.08.22.260406
  • Open Access
• [Journal Article] Homogeneous Intrinsic Neuronal Excitability Induces Overfitting to Sensory Noise: A Robot Model of Neurodevelopmental Disorder (2020)
  • Author(s): Idei Hayato、Murata Shingo、Yamashita Yuichi、Ogata Tetsuya
  • Journal Title: Frontiers in Psychiatry Volume: 11 Pages: 762-762
  • DOI: 10.3389/fpsyt.2020.00762
  • Peer Reviewed / Open Access
• [Journal Article] Retrospective surprise: A computational component for active inference (2020)
  • Author(s): Katahira Kentaro、Kunisato Yoshihiko、Okimura Tsukasa、Yamashita Yuichi
  • Journal Title: Journal of Mathematical Psychology Volume: 96 Pages: 102347-102347
  • DOI: 10.1016/j.jmp.2020.102347
  • NAID: 120006884953
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Commentary: A robust data-driven approach identifies four personality types across four large data sets (2020)
  • Author(s): Katahira Kentaro, Kunisato Yoshihiko, Yamashita Yuichi. Suzuki Shinsuke
  • Journal Title: Frontiers in Big Data Volume: 3 Pages: 8-8
  • DOI: 10.3389/fdata.2020.00008
  • Peer Reviewed / Open Access
• [Journal Article] Revealing Relationships Among Cognitive Functions Using Functional Connectivity and a Large-Scale Meta-Analysis Database (2020)
  • Author(s): Kurashige Hiroki、Kaneko Jun、Yamashita Yuichi、Osu Rieko、Otaka Yohei、Hanakawa Takashi、Honda Manabu、Kawabata Hideaki
  • Journal Title: Frontiers in Human Neuroscience Volume: 13 Pages: 457-457
  • DOI: 10.3389/fnhum.2019.00457
  • Peer Reviewed / Open Access
• [Journal Article] A review on neural network models of schizophrenia and autism spectrum disorder (2020)
  • Author(s): Lanillos Pablo、Oliva Daniel、Philippsen Anja、Yamashita Yuichi、Nagai Yukie、Cheng Gordon
  • Journal Title: Neural Networks Volume: 122 Pages: 338-363
  • DOI: 10.1016/j.neunet.2019.10.014
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Exploration-related strategy mediates negative coupling between decision-making performance and psychiatric symptoms (2019)
  • Author(s): Suzuki Shinsuke、Yamashita Yuichi、Katahira Kentaro
  • Journal Title: bioRxiv Volume: 2019 Pages: 730614-730614
  • DOI: 10.1101/730614
  • Open Access
• [Journal Article] Effective Augmentation of Creativity-Involving Productivity Consequent to Spontaneous Selectivity in Knowledge Acquisition (2019)
  • Author(s): Kurashige Hiroki、Yamashita Yuichi、Hanakawa Takashi、Honda Manabu
  • Journal Title: Frontiers in Psychology Volume: 10 Pages: 600-600
  • DOI: 10.3389/fpsyg.2019.00600
  • Peer Reviewed / Open Access
• [Journal Article] Predicting anxiety state using smartphone-based passive sensing (2019)
  • Author(s): Fukazawa Yusuke、Ito Taku、Okimura Tsukasa、Yamashita Yuichi、Maeda Takaki、Ota Jun
  • Journal Title: Journal of Biomedical Informatics Volume: 93 Pages: 103151-103151
  • DOI: 10.1016/j.jbi.2019.103151
  • Peer Reviewed / Open Access
• [Presentation] Computational psychiatry: understanding psychiatric and neurodevelopmental disorders using computational modeling (2020)
  • Author(s): Yuichi Yamashita
  • Organizer: The 3rd Kyutech International Workshop on Robotics and Innovation
  • Int'l Joint Research / Invited
• [Presentation] 脳の計算理論を用いて運動主体感異常の病態メカニズムに迫る (2020)
  • Author(s): 1.山下祐一
  • Organizer: 第116回日本精神神経学会学術総会
  • Invited
• [Presentation] Resting-State Functional Connectome Analysis of Awake Common Marmoset with Functional MRI and Electrocorticographic (2020)
  • Author(s): 1.Haga Y , Hata J, Kaneko T, Yamada T, Komaki Y, Seki F, Okano H, Okano JH, Yamamori T, Ichinohe N, Yamashita Y, Furukawa A, and Komatsu M
  • Organizer: International Society for Magnetic Resonance in Medicine
  • Int'l Joint Research
• [Presentation] Simulating altered inference of uncertainty in autism spectrum disorders using a variational recurrent neural network model (2020)
  • Author(s): 2.Soda T, Ahmadi A, Tani J, Hoshino M, Honda M, Hanakawa T, Yamashita Y
  • Organizer: The winter workshop 2020 on Mechanism of brain and mind
  • Int'l Joint Research
• [Presentation] 予測符号化理論に基づくニューラルネットワークを用いた自閉スペクトラム症における表情認知特性に関する検討 (2020)
  • Author(s): 1.高橋雄太，村田真悟，出井勇人，富田博秋，山下祐一
  • Organizer: 第42回日本生物学的精神医学会年会
• [Presentation] 規則の推論過程における予測の確信度と汎化性能との関連 (2019)
  • Author(s): 宗田卓史, Ahmadreza Ahmadi, 谷淳, 星野幹雄, 本田学, 花川隆, 山下祐一
  • Organizer: 日本発達神経科学学会第8回学術集会
• [Presentation] 神経興奮性の変調による過学習と行動切り替えの困難さ-RNNとロボットを用いた発達障害の知見の橋渡し- (2019)
  • Author(s): 出井勇人，村田真悟，山下祐一，尾形哲也
  • Organizer: 日本発達神経科学学会第8回学術集会
• [Presentation] クラウドソーシングによる目標指向描画タスクと多尺度発達障害 ・精神障害精神疾患傾向の大規模データ収集 (2019)
  • Author(s): 村田真悟，柳田耀，片平健太郎，鈴木真介，尾形哲也，山下祐一
  • Organizer: 日本発達神経科学学会第8回学術集会
• [Presentation] Extracting features from structural brain image using convolutional autoencoder (2019)
  • Author(s): Yamaguchi H, Hashimoto Y, Sugihara G, Miyata J, Murai T, Takahashi H, Honda M, Yamashita Y
  • Organizer: 第3回ヒト脳イメージング研究会
• [Presentation] Exploratory network analyses for relationships among cognitive functions using fMRI meta-analysis database (2019)
  • Author(s): 倉重宏樹, 金子順, 山下祐一, 大須理英子, 大高洋平, 花川隆, 本田学, 川畑秀明
  • Organizer: 第3回ヒト脳イメージング研究会
• [Presentation] Revealing relationships among cognitive functions based on functional connectivity and large-scale meta-analysis database (2019)
  • Author(s): Kurashige H, Yamashita Y, Osu R, Otaka Y, Hanakawa T, Honda M, Kawabata H
  • Organizer: 第42回日本神経科学学会全国大会
• [Presentation] 人とRecurrent Neural Network の描画インタラクション実験 Web 実験による大規模学習用データ収集とその解析 (2019)
  • Author(s): 柳田耀, 村田真悟, 片平健太郎, 鈴木真介, 尾形哲也, 山下祐一
  • Organizer: 第33回人工知能学会全国大会
• [Presentation] Large-scale Data Collection for Goal-directed Drawing Task with Self-report Psychiatric Symptom Questionnaires via Crowdsourcing (2019)
  • Author(s): Murata S, Yanagida H, Katahira K, Suzuki S, Ogata T, and Yamashita Y
  • Organizer: 2019 IEEE International Conference on Systems, Man, and Cybernetics
  • Int'l Joint Research
• [Presentation] Resting state networks on electrocorticograms reveal global and local cortical functional structures (2019)
  • Author(s): Komatsu M, Yamada T, Kaneko T, Okano H, Yamamori T, Ichinohe N, Yamashita Y
  • Organizer: 49h Annual Meeting of Society for Neuroscience
  • Int'l Joint Research
• [Presentation] Revealing hierarchical relationships among cognitive functions as a concept lattice using formal concept analysis (2019)
  • Author(s): Kurashige H, Yamashita Y, Osu R, Otaka Y, Hanakawa T, Honda M, Kawabata H
  • Organizer: 49h Annual Meeting of Society for Neuroscience
  • Int'l Joint Research
• [Presentation] Analysis of Imitative Interactions between Typically Developed or Autistic Participants and a Robot with a Recurrent Neural Network (2019)
  • Author(s): Murata S, Hiranoz K, Higashiz N, Kumagaya S, Yamashita Y, and Ogata T
  • Organizer: The 9th joint IEEE International Conference on Development and Learning (ICDL) and the International Conference on Epigenetic Robotics (EpiRob)
  • Int'l Joint Research
• [Presentation] Extracting feature from structural brain image using convolutional auto-encoder (2019)
  • Author(s): Yamaguchi H, Hashimoto Y, Honda M, Yamashita Y
  • Organizer: 2019 OHBM annual meeting
  • Int'l Joint Research
• [Presentation] New approach for analysis of resting-state functional MRI: Convolutional auto-encoder (2019)
  • Author(s): Hashimoto Y, Ogata Y, Aizawa K, Yamashita Y
  • Organizer: 2019 OHBM annual meeting
  • Int'l Joint Research
• [Presentation] 脳の計算理論を用いて精神疾患の病態に迫る：神経ロボティクス的アプローチ (2019)
  • Author(s): 山下祐一
  • Organizer: 「次世代脳」冬のシンポジウム
  • Invited
• [Presentation] 計算論的精神医学：脳の計算モデルに基づく精神障害の病態理解 (2019)
  • Author(s): 山下祐一
  • Organizer: 第24回情動・社会行動と精神医学研究会
  • Invited
• [Presentation] 階層的予測情報処理プロセスの失調としての精神障害：神経ロボティクス的アプローチ (2019)
  • Author(s): 山下祐一
  • Organizer: 生理研研究会「力学系の視点からの脳・神経回路の理解」
  • Invited
• [Presentation] 計算論的精神医学：脳の計算モデルを用いて精神疾患の病態に迫る (2019)
  • Author(s): 山下祐一
  • Organizer: 蛋白研セミナー：精神疾患の分子・回路病態研究の最前線蛋白研セミナー：精神疾患の分子・回路病態研究の最前線
  • Invited
• [Presentation] 計算論的精神医学：脳の計算理論による精神障害の病態理解 (2019)
  • Author(s): 山下祐一
  • Organizer: 第10回 脳型人工知能とその応用ミニワークショップ
  • Invited
• [Presentation] 計算論的精神医学に基づく精神障害の病態理解 (2019)
  • Author(s): 山下祐一
  • Organizer: 日本オミックス医学会シンポジウム
  • Invited
• [Presentation] 予測符号化理論に基づく統合失調症の病態理解：精神病理学と神経科学の橋渡しとしての計算論的精神医学 (2019)
  • Author(s): 山下祐一
  • Organizer: 第115回日本精神神経学会学術総会
  • Invited
• [Presentation] Computational psychiatry: understanding neuropsychiatric disorders using computational modeling (2019)
  • Author(s): Yamashita Y
  • Organizer: 2019 Annual Meeting of Korea NeuroPsychiatric Association (KNPA)
  • Int'l Joint Research / Invited
• [Book] 発達障害の精神病理 Ⅱ (2020)
  • Author(s): 内海 健、清水 光恵、鈴木 國文、青木 省三、兼本 浩祐、黒木 俊秀、萩原 徹也、平井 正三、山下 祐一
  • Total Pages: 236
  • Publisher: 星和書店
  • ISBN: 9784791110438
• [Book] 精神医学の科学的基盤 (2020)
  • Author(s): 加藤忠史
  • Total Pages: 192
  • Publisher: 学樹書院
  • ISBN: 4906502539
• [Book] 計算論的精神医学 (2019)
  • Author(s): 国里 愛彦、片平 健太郎、沖村 宰、山下 祐一
  • Total Pages: 328
  • Publisher: 勁草書房
  • ISBN: 432625131X
• [Remarks] CPSYMAP database
  • URL: https://ncnp-cpsy-rmap.web.app/