自己教師あり学習によるマルチモーダルAIの構築：虚血性心疾患の治療最適化の実現

2023 年度 実施状況報告書

• 研究課題/領域番号: 23KJ0414
• 研究機関: 東京大学
• 研究代表者: 澤野 晋之介 東京大学, 医学系研究科, 特別研究員(DC2)
• 研究期間 (年度): 2023-04-25 – 2025-03-31
• キーワード: マルチモダリティ / 心電図 / 胸部レントゲン画像 / 深層学習 / 予後予測

研究実績の概要

心電図・胸部レントゲン画像を用いたマルチモダリティな患者リスク評価に人工知能を適応し、虚血性心疾患患者の予後予測への応用を目指した。自己教師学習を用いて事前学習を実施したモデルを土台に、心電図から心機能の低下を検出するモデル、胸部レントゲン画像から心拡大を検出するモデルをそれぞれ作成し、患者をモデル出力に基づいて4群に分類し、各群における虚血性心疾患患者の予後を比較。結果、複数のモダリティによる評価は単一モダリティによる評価と比較して患者予後を高い性能で予測可能である可能性を示した。 臨床現場で収集できる心電図や胸部レントゲン画像を含む患者情報は、利活用を目的に作成されておらず、このことは研究成果を社会実装するための重要なボトルネックである事を確認した。今後この課題を解決するため、日常臨床で使用されている、より実用的な知識を抽出する枠組みの作成を目指す。本研究にあたり、サポートをいただいた全ての関係者に心より感謝申し上げる。

現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

データ収集が当初の予定より速やかに進行したため研究全体が計画以上に進展し、研究成果はすでに査読付き論文として公開済みである。

今後の研究の推進方策

本研究を通して、臨床現場で収集できる心電図や胸部レントゲン画像を含む患者情報は、利活用を目的に作成されておらず、このことは研究成果を社会実装するための重要なボトルネックであると考える。今後この課題を解決するため、日常臨床で使用されている、より実用的な知識を抽出する枠組みの作成を目指す。具体的には医師同士が日常臨床で共有する医学専門知識をQandAの形式で蓄え再利用が可能なデータベースを作成する。このデータベースを、大規模言語モデルを用いて参照することで、日常臨床への疑問に素早く効率的に回答を提示できるシステムを開発する。

次年度使用額が生じた理由

データ収集が計画より早く進行したため。

研究成果

• [雑誌論文] Multimodality Risk Assessment of Patients with Ischemic Heart Disease Using Deep Learning Models Applied to Electrocardiograms and Chest Xrays. (2024)
  • 著者名/発表者名: Sawano S, Kodera S, Sato M, Shinohara H, Kobayashi A, Takiguchi H, Hirose K, Kamon T, Saito A, Kiriyama H, Miura M, Minatsuki S, Kikuchi H, Takeda N, Morita H, Komuro I.
  • 雑誌名: Int Heart J. 巻: 65(1) ページ: 29~38
  • DOI: 10.1536/ihj.23-402
  • 査読あり
• [備考] International Heart Journal
  • URL: https://www.jstage.jst.go.jp/article/ihj/65/1/65_23-402/_article