• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

大規模医用画像データセットを用いた多タスク対応画像-自然言語対応モデルの開発

研究課題

研究課題/領域番号 23K17229
研究種目

若手研究

配分区分基金
審査区分 小区分90130:医用システム関連
研究機関神戸大学

研究代表者

松尾 秀俊  神戸大学, 医学部附属病院, 助教 (20878251)

研究期間 (年度) 2023-04-01 – 2028-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2027年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2026年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2025年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2024年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2023年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
キーワード深層学習 / Deeplearning / LLM / 大規模自然言語モデル / LMM / Multi modal / 医療AI
研究開始時の研究の概要

この研究では、医療の現場で役立つAI技術を開発しています。今までのAIは、肺の病気など、1つの目的にしか使えませんでした。しかし、私たちが目指すAIは、たくさんの仕事を同時にこなせる「多タスク対応AI」です。これを実現するために、医療の画像データと、それに関する文章データを組み合わせた技術を使っています。その実現のためにJ-MIDと呼ばれる放射線科の大きな医療データベースを使って、学習を行います。これにより、医療現場でのAIの活用がより簡単になり、患者さんの診断や治療に役立つことが期待されます。この研究で、医療の現場でのAI技術が大きく進歩することを目指しています。

研究実績の概要

今年度、JMIDと呼ばれる日本医学放射線学会が管理・運用するDBから画像やレポートのデータのダウンロードを行った。現在2万件以上のデータをダウンロードしている。このデータについては現在内容を精査中である。大規模自然言語モデル(LLM)の一種であるGPTを用いてレポートから肺癌のTNM分類を行うモデルを作成し、NTCIR17でconference paperとして発表した。加えてTNM分類においてどういった情報・指示を与えるのが性能に寄与するか、日本語・英語による性能の違いについてECR2024にて発表した。加えて既存のLLMだけでは無く、llama2などのオープンLLMの学習環境を整え、llama2のfinetuningを開始した。上記のNTCIR17のデータを用いてオープンLLMのfinetuningを行っており、その性能への情報や指示への寄与がGPTとどう違うかについて検討を行った。この結果については来るCARS2024にて発表予定である。以前から行っている画像を用いた深層学習モデルの検討についても引き続き行っており、立体の画像と医療情報を加えることによる悪性中皮腫の予後推定精度がどう変わるかについて検討を行ったものがMedical Physics誌に掲載された。その他にも主に医療画像を用いた深層学習モデルや手法について共同研究を行っており、その結果が論文などに掲載されつつある。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

データセットが揃い、画像・テキストの学習についても成果が出つつある。加えてLMMについての検討も開始しているため。

今後の研究の推進方策

今後は医療画像を用いたLMMのfinetuningについての検討を加えていく。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (8件)

すべて 2024 2023 その他

すべて 国際共同研究 (1件) 雑誌論文 (6件) (うち国際共著 2件、 査読あり 6件、 オープンアクセス 4件) 学会発表 (1件) (うち国際学会 1件)

  • [国際共同研究] University of Zurich/Dalle Molle Institute(スイス)

    • 関連する報告書
      2023 実施状況報告書
  • [雑誌論文] Development of Pericardial Fat Count Images Using a Combination of Three Different Deep-Learning Models: Image Translation Model From Chest Radiograph Image to Projection Image of Three-Dimensional Computed Tomography2024

    • 著者名/発表者名
      Matsunaga Takaaki、Kono Atsushi、Matsuo Hidetoshi、Kitagawa Kaoru、Nishio Mizuho、Hashimura Hiromi、Izawa Yu、Toba Takayoshi、Ishikawa Kazuki、Katsuki Akie、Ohmura Kazuyuki、Murakami Takamichi
    • 雑誌名

      Academic Radiology

      巻: 31 号: 3 ページ: 822-829

    • DOI

      10.1016/j.acra.2023.09.014

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Fully automatic summarization of radiology reports using natural language processing with large language models2024

    • 著者名/発表者名
      Nishio Mizuho、Matsunaga Takaaki、Matsuo Hidetoshi、Nogami Munenobu、Kurata Yasuhisa、Fujimoto Koji、Sugiyama Osamu、Akashi Toshiaki、Aoki Shigeki、Murakami Takamichi
    • 雑誌名

      Informatics in Medicine Unlocked

      巻: 46 ページ: 101465-101465

    • DOI

      10.1016/j.imu.2024.101465

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Prognosis prediction of patients with malignant pleural mesothelioma using conditional variational autoencoder on 3D PET images and clinical data2023

    • 著者名/発表者名
      Matsuo Hidetoshi、Kitajima Kazuhiro、Kono Atsushi K.、Kuribayashi Kozo、Kijima Takashi、Hashimoto Masaki、Hasegawa Seiki、Yamakado Koichiro、Murakami Takamichi
    • 雑誌名

      Medical Physics

      巻: 50 号: 12 ページ: 7548-7557

    • DOI

      10.1002/mp.16694

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Computer-aided diagnosis of chest X-ray for COVID-19 diagnosis in external validation study by radiologists with and without deep learning system2023

    • 著者名/発表者名
      Miyazaki Aki、Ikejima Kengo、Nishio Mizuho、Yabuta Minoru、Matsuo Hidetoshi、Onoue Koji、Matsunaga Takaaki、Nishioka Eiko、Kono Atsushi、Yamada Daisuke、Oba Ken、Ishikura Reiichi、Murakami Takamichi
    • 雑誌名

      Scientific Reports

      巻: 13 号: 1

    • DOI

      10.1038/s41598-023-44818-9

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Classification of cancer TNM stage from Japanese radiology report using on-premise LLM at NTCIR-17 MedNLP-SC RR-TNM subtask2023

    • 著者名/発表者名
      Koji Fujimoto, Mizuho Nishio, Chikako Tanaka, Morteza Rohanian, Farhad Nooralahzadeh, Michael Krauthammer, Fabio Rinaldi
    • 雑誌名

      Proceedings of NTCIR-17

      巻: 0 ページ: 200-207

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Zero-shot classification of TNM staging for Japanese radiology report using ChatGPT at RR-TNM subtask of NTCIR-17 MedNLP-SC2023

    • 著者名/発表者名
      Mizuho Nishio, Hidetoshi Matsuo, Takaaki Matsunaga, Koji Fujimoto, Morteza Rohanian, Farhad Nooralahzadeh, Fabio Rinaldi, Michael Krauthammer
    • 雑誌名

      Proceedings of NTCIR-17

      巻: 0 ページ: 155-162

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] A Multilingual Approach to Structured Data Extraction from Radiological Reports using Large Language Models: Focus on TNM Staging Accuracy2023

    • 著者名/発表者名
      Hidetoshi Matsuo
    • 学会等名
      ECR2024
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会

URL: 

公開日: 2023-04-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi