• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

医用画像QAエージェント

研究課題

研究課題/領域番号 23K07154
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分52040:放射線科学関連
研究機関京都大学

研究代表者

藤本 晃司  京都大学, 医学研究科, 特定准教授 (10580110)

研究期間 (年度) 2023-04-01 – 2026-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
2025年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2024年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2023年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
キーワード深層学習 / 自然言語処理 / 大規模言語モデル
研究開始時の研究の概要

本研究は、医用画像、および質問文を入力、それに対する返答を出力とする医用画像QAエージェントの設計、開発、評価を目的とする。そのために、画像からテキストを生成するモデルであるProgressive Transformerを出発点として、モデルに対する質問の入力部位を3つの異なるアプローチを試し、この3つの異なるアプローチにおける利点と欠点を明らかにする。

研究実績の概要

胸部X線画像のデータセットであるMIMIC-CXR並びにJMIDを対象として、T5モデルを4種類構築した。定量評価指標としてROUGEスコアを用い、画像診断レポートの要約に関する性能を評価し最も性能の高いモデルを抽出した。また、自動要約されたレポート文の一部について、画像診断医による定性評価を実施した結果、得られたレポート文のうち85-86%が臨床的に有用であると考えられた(Nishio他)。
NTCIR-17のshared taskとして実施された、肺癌を対象とした画像診断レポートからTNM分類を推定するという課題に対して、(1)ChatGPTおよびLangChainを用いたプロンプトエンジニアリングによるzero-shot分類を実施し、T, N, M 各々についてaccuracyが各々 0.3951, 0.8025, 0.9259という結果を得た(Nishio他)。(2)openCALM-7B並びに独自に作成した肺癌のステージングに関するextended QAデータセットを用いて、オンプレミスでfine tuningを実施し、T, N, M 各々についてaccuracyが各々 0.4815, 0.6049, 0.7407という結果を得た(Fujimoto他)。
IU-XrayならびにMIMIC-CXR データセットを対象として、比較対象となる過去レポートの有無をモデルに組み込むことで、胸部X線画像から画像診断レポートを生成するモデルの性能が向上することを示した(Kim他、arXiv)。
COMETと呼ばれるアーキテクチャを画像診断レポートに用いることで、訓練されたモデルが従来のBERTscore, BLEU, CheXbertといった指標に加えて、人間による評価指標と高い相関を持ちうることを示した(Aoms他、arXiv)。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究期間には、(1)胸部X線画像を対象とした画像診断レポートの要約に関する研究(2)肺癌を対象とした画像診断レポートからのTNM分類の推定に関する研究(3)胸部X線画像から画像診断レポートを生成するモデルの性能向上に関する研究(4)生成された画像診断レポートの性能評価指標の改善に関する研究を実施した。(2)においては独自に作成したQApairを用いることで性能の向上を図った。これらの研究成果は、本研究の目的である医用画像QAエージェントの各コンポーネントごとの性能改善に繋がると考えられる。

今後の研究の推進方策

今年度の成果で得られた各コンポーネントごとの性能向上を図りつつ、image-to-text, text-to-textの各コンポーネントの連携部分についても注力してゆく予定である。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (6件)

すべて 2024 2023 その他

すべて 国際共同研究 (1件) 雑誌論文 (3件) (うち査読あり 1件、 オープンアクセス 3件) 学会発表 (2件) (うち国際学会 1件)

  • [国際共同研究] University of Zurich/IDSIA(スイス)

    • 関連する報告書
      2023 実施状況報告書
  • [雑誌論文] Fully automatic summarization of radiology reports using natural language processing with large language models2024

    • 著者名/発表者名
      Nishio Mizuho、Matsunaga Takaaki、Matsuo Hidetoshi、Nogami Munenobu、Kurata Yasuhisa、Fujimoto Koji、Sugiyama Osamu、Akashi Toshiaki、Aoki Shigeki、Murakami Takamichi
    • 雑誌名

      Informatics in Medicine Unlocked

      巻: 46 ページ: 101465-101465

    • DOI

      10.1016/j.imu.2024.101465

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Radiology-Aware Model-Based Evaluation Metric for Report Generation2023

    • 著者名/発表者名
      Amos Calamida, Farhad Nooralahzadeh, Morteza Rohanian, Koji Fujimoto, Mizuho Nishio, Michael Krauthammer
    • 雑誌名

      arXiv

      巻: -

    • 関連する報告書
      2023 実施状況報告書
    • オープンアクセス
  • [雑誌論文] Boosting Radiology Report Generation by Infusing Comparison Prior2023

    • 著者名/発表者名
      Sanghwan Kim, Farhad Nooralahzadeh, Morteza Rohanian, Koji Fujimoto, Mizuho Nishio, Ryo Sakamoto, Fabio Rinaldi, Michael Krauthammer
    • 雑誌名

      arXiv

      巻: -

    • 関連する報告書
      2023 実施状況報告書
    • オープンアクセス
  • [学会発表] Zero-shot classification of TNM staging for Japanese radiology report using ChatGPT at RR-TNM subtask of NTCIR-17 MedNLP-SC2023

    • 著者名/発表者名
      Mizuho Nishio, Hidetoshi Matsuo, Takaaki Matsunaga, Koji Fujimoto, Morteza Rohanian, Farhad Nooralahzadeh, Fabio Rinaldi, Michael Krauthammer
    • 学会等名
      NTCIR-17
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Classification of cancer TNM stage from Japanese radiology report using on-premise LLM at NTCIR-17 MedNLP-SC RR-TNM subtask2023

    • 著者名/発表者名
      Koji Fujimoto, Mizuho Nishio, Chikako Tanaka, Morteza Rohanian, Farhad Nooralahzadeh, Michael Krauthammer, Fabio Rinaldi
    • 学会等名
      NTCIR-17
    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2023-04-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi