• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

大規模医用画像データセットを用いた多タスク対応画像-自然言語対応モデルの開発

研究課題

研究課題/領域番号 23K17229
研究機関神戸大学

研究代表者

松尾 秀俊  神戸大学, 医学部附属病院, 助教 (20878251)

研究期間 (年度) 2023-04-01 – 2028-03-31
キーワード深層学習 / Deeplearning / LLM / 大規模自然言語モデル / LMM
研究実績の概要

今年度、JMIDと呼ばれる日本医学放射線学会が管理・運用するDBから画像やレポートのデータのダウンロードを行った。現在2万件以上のデータをダウンロードしている。このデータについては現在内容を精査中である。大規模自然言語モデル(LLM)の一種であるGPTを用いてレポートから肺癌のTNM分類を行うモデルを作成し、NTCIR17でconference paperとして発表した。加えてTNM分類においてどういった情報・指示を与えるのが性能に寄与するか、日本語・英語による性能の違いについてECR2024にて発表した。加えて既存のLLMだけでは無く、llama2などのオープンLLMの学習環境を整え、llama2のfinetuningを開始した。上記のNTCIR17のデータを用いてオープンLLMのfinetuningを行っており、その性能への情報や指示への寄与がGPTとどう違うかについて検討を行った。この結果については来るCARS2024にて発表予定である。以前から行っている画像を用いた深層学習モデルの検討についても引き続き行っており、立体の画像と医療情報を加えることによる悪性中皮腫の予後推定精度がどう変わるかについて検討を行ったものがMedical Physics誌に掲載された。その他にも主に医療画像を用いた深層学習モデルや手法について共同研究を行っており、その結果が論文などに掲載されつつある。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

データセットが揃い、画像・テキストの学習についても成果が出つつある。加えてLMMについての検討も開始しているため。

今後の研究の推進方策

今後は医療画像を用いたLMMのfinetuningについての検討を加えていく。

次年度使用額が生じた理由

想定よりも、ワークステーションのGPUの費用を抑えることが出来たため

備考

業績のうちNTCIR-17のconference paperにはDOIがあるが、入力すると科研費のシステムでエラーが出る。
NTCIR-17のconference paperのDOIは次の二つである。10.20736/0002001283、10.20736/0002001299

  • 研究成果

    (8件)

すべて 2024 2023 その他

すべて 国際共同研究 (1件) 雑誌論文 (6件) (うち国際共著 2件、 査読あり 6件、 オープンアクセス 4件) 学会発表 (1件) (うち国際学会 1件)

  • [国際共同研究] University of Zurich/Dalle Molle Institute(スイス)

    • 国名
      スイス
    • 外国機関名
      University of Zurich/Dalle Molle Institute
  • [雑誌論文] Development of Pericardial Fat Count Images Using a Combination of Three Different Deep-Learning Models: Image Translation Model From Chest Radiograph Image to Projection Image of Three-Dimensional Computed Tomography2024

    • 著者名/発表者名
      Matsunaga Takaaki、Kono Atsushi、Matsuo Hidetoshi、Kitagawa Kaoru、Nishio Mizuho、Hashimura Hiromi、Izawa Yu、Toba Takayoshi、Ishikawa Kazuki、Katsuki Akie、Ohmura Kazuyuki、Murakami Takamichi
    • 雑誌名

      Academic Radiology

      巻: 31 ページ: 822~829

    • DOI

      10.1016/j.acra.2023.09.014

    • 査読あり
  • [雑誌論文] Fully automatic summarization of radiology reports using natural language processing with large language models2024

    • 著者名/発表者名
      Nishio Mizuho、Matsunaga Takaaki、Matsuo Hidetoshi、Nogami Munenobu、Kurata Yasuhisa、Fujimoto Koji、Sugiyama Osamu、Akashi Toshiaki、Aoki Shigeki、Murakami Takamichi
    • 雑誌名

      Informatics in Medicine Unlocked

      巻: 46 ページ: 101465~101465

    • DOI

      10.1016/j.imu.2024.101465

    • 査読あり / オープンアクセス
  • [雑誌論文] Prognosis prediction of patients with malignant pleural mesothelioma using conditional variational autoencoder on 3D PET images and clinical data2023

    • 著者名/発表者名
      Matsuo Hidetoshi、Kitajima Kazuhiro、Kono Atsushi K.、Kuribayashi Kozo、Kijima Takashi、Hashimoto Masaki、Hasegawa Seiki、Yamakado Koichiro、Murakami Takamichi
    • 雑誌名

      Medical Physics

      巻: 50 ページ: 7548~7557

    • DOI

      10.1002/mp.16694

    • 査読あり
  • [雑誌論文] Computer-aided diagnosis of chest X-ray for COVID-19 diagnosis in external validation study by radiologists with and without deep learning system2023

    • 著者名/発表者名
      Miyazaki Aki、Ikejima Kengo、Nishio Mizuho、Yabuta Minoru、Matsuo Hidetoshi、Onoue Koji、Matsunaga Takaaki、Nishioka Eiko、Kono Atsushi、Yamada Daisuke、Oba Ken、Ishikura Reiichi、Murakami Takamichi
    • 雑誌名

      Scientific Reports

      巻: 13 ページ: -

    • DOI

      10.1038/s41598-023-44818-9

    • 査読あり / オープンアクセス
  • [雑誌論文] Classification of cancer TNM stage from Japanese radiology report using on-premise LLM at NTCIR-17 MedNLP-SC RR-TNM subtask2023

    • 著者名/発表者名
      Koji Fujimoto, Mizuho Nishio, Chikako Tanaka, Morteza Rohanian, Farhad Nooralahzadeh, Michael Krauthammer, Fabio Rinaldi
    • 雑誌名

      Proceedings of NTCIR-17

      巻: 0 ページ: 200-207

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Zero-shot classification of TNM staging for Japanese radiology report using ChatGPT at RR-TNM subtask of NTCIR-17 MedNLP-SC2023

    • 著者名/発表者名
      Mizuho Nishio, Hidetoshi Matsuo, Takaaki Matsunaga, Koji Fujimoto, Morteza Rohanian, Farhad Nooralahzadeh, Fabio Rinaldi, Michael Krauthammer
    • 雑誌名

      Proceedings of NTCIR-17

      巻: 0 ページ: 155-162

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] A Multilingual Approach to Structured Data Extraction from Radiological Reports using Large Language Models: Focus on TNM Staging Accuracy2023

    • 著者名/発表者名
      Hidetoshi Matsuo
    • 学会等名
      ECR2024
    • 国際学会

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi