Multitask Image-Natural Language Correspondence Model Development using Large-Scale Medical Image Dataset

• Project/Area Number: 23K17229
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 90130:Medical systems-related
• Research Institution: Kobe University
• Principal Investigator: 松尾 秀俊 神戸大学, 医学部附属病院, 助教 (20878251)
• Project Period (FY): 2023-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2027: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2026: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000); Fiscal Year 2025: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000); Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
• Keywords: 深層学習 / Deeplearning / LLM / 大規模自然言語モデル / LMM / Multi modal / 医療AI

Outline of Research at the Start

この研究では、医療の現場で役立つAI技術を開発しています。今までのAIは、肺の病気など、1つの目的にしか使えませんでした。しかし、私たちが目指すAIは、たくさんの仕事を同時にこなせる「多タスク対応AI」です。これを実現するために、医療の画像データと、それに関する文章データを組み合わせた技術を使っています。その実現のためにJ-MIDと呼ばれる放射線科の大きな医療データベースを使って、学習を行います。これにより、医療現場でのAIの活用がより簡単になり、患者さんの診断や治療に役立つことが期待されます。この研究で、医療の現場でのAI技術が大きく進歩することを目指しています。

Outline of Annual Research Achievements

今年度、JMIDと呼ばれる日本医学放射線学会が管理・運用するDBから画像やレポートのデータのダウンロードを行った。現在2万件以上のデータをダウンロードしている。このデータについては現在内容を精査中である。大規模自然言語モデル(LLM)の一種であるGPTを用いてレポートから肺癌のTNM分類を行うモデルを作成し、NTCIR17でconference paperとして発表した。加えてTNM分類においてどういった情報・指示を与えるのが性能に寄与するか、日本語・英語による性能の違いについてECR2024にて発表した。加えて既存のLLMだけでは無く、llama2などのオープンLLMの学習環境を整え、llama2のfinetuningを開始した。上記のNTCIR17のデータを用いてオープンLLMのfinetuningを行っており、その性能への情報や指示への寄与がGPTとどう違うかについて検討を行った。この結果については来るCARS2024にて発表予定である。以前から行っている画像を用いた深層学習モデルの検討についても引き続き行っており、立体の画像と医療情報を加えることによる悪性中皮腫の予後推定精度がどう変わるかについて検討を行ったものがMedical Physics誌に掲載された。その他にも主に医療画像を用いた深層学習モデルや手法について共同研究を行っており、その結果が論文などに掲載されつつある。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

データセットが揃い、画像・テキストの学習についても成果が出つつある。加えてLMMについての検討も開始しているため。

Strategy for Future Research Activity

今後は医療画像を用いたLMMのfinetuningについての検討を加えていく。

Research Products

• [Int'l Joint Research] University of Zurich/Dalle Molle Institute(スイス)
• [Journal Article] Development of Pericardial Fat Count Images Using a Combination of Three Different Deep-Learning Models: Image Translation Model From Chest Radiograph Image to Projection Image of Three-Dimensional Computed Tomography (2024)
  • Author(s): Matsunaga Takaaki、Kono Atsushi、Matsuo Hidetoshi、Kitagawa Kaoru、Nishio Mizuho、Hashimura Hiromi、Izawa Yu、Toba Takayoshi、Ishikawa Kazuki、Katsuki Akie、Ohmura Kazuyuki、Murakami Takamichi
  • Journal Title: Academic Radiology Volume: 31 Issue: 3 Pages: 822-829
  • DOI: 10.1016/j.acra.2023.09.014
  • Peer Reviewed
• [Journal Article] Fully automatic summarization of radiology reports using natural language processing with large language models (2024)
  • Author(s): Nishio Mizuho、Matsunaga Takaaki、Matsuo Hidetoshi、Nogami Munenobu、Kurata Yasuhisa、Fujimoto Koji、Sugiyama Osamu、Akashi Toshiaki、Aoki Shigeki、Murakami Takamichi
  • Journal Title: Informatics in Medicine Unlocked Volume: 46 Pages: 101465-101465
  • DOI: 10.1016/j.imu.2024.101465
  • Peer Reviewed / Open Access
• [Journal Article] Prognosis prediction of patients with malignant pleural mesothelioma using conditional variational autoencoder on 3D PET images and clinical data (2023)
  • Author(s): Matsuo Hidetoshi、Kitajima Kazuhiro、Kono Atsushi K.、Kuribayashi Kozo、Kijima Takashi、Hashimoto Masaki、Hasegawa Seiki、Yamakado Koichiro、Murakami Takamichi
  • Journal Title: Medical Physics Volume: 50 Issue: 12 Pages: 7548-7557
  • DOI: 10.1002/mp.16694
  • Peer Reviewed
• [Journal Article] Computer-aided diagnosis of chest X-ray for COVID-19 diagnosis in external validation study by radiologists with and without deep learning system (2023)
  • Author(s): Miyazaki Aki、Ikejima Kengo、Nishio Mizuho、Yabuta Minoru、Matsuo Hidetoshi、Onoue Koji、Matsunaga Takaaki、Nishioka Eiko、Kono Atsushi、Yamada Daisuke、Oba Ken、Ishikura Reiichi、Murakami Takamichi
  • Journal Title: Scientific Reports Volume: 13 Issue: 1
  • DOI: 10.1038/s41598-023-44818-9
  • Peer Reviewed / Open Access
• [Journal Article] Classification of cancer TNM stage from Japanese radiology report using on-premise LLM at NTCIR-17 MedNLP-SC RR-TNM subtask (2023)
  • Author(s): Koji Fujimoto, Mizuho Nishio, Chikako Tanaka, Morteza Rohanian, Farhad Nooralahzadeh, Michael Krauthammer, Fabio Rinaldi
  • Journal Title: Proceedings of NTCIR-17 Volume: 0 Pages: 200-207
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Zero-shot classification of TNM staging for Japanese radiology report using ChatGPT at RR-TNM subtask of NTCIR-17 MedNLP-SC (2023)
  • Author(s): Mizuho Nishio, Hidetoshi Matsuo, Takaaki Matsunaga, Koji Fujimoto, Morteza Rohanian, Farhad Nooralahzadeh, Fabio Rinaldi, Michael Krauthammer
  • Journal Title: Proceedings of NTCIR-17 Volume: 0 Pages: 155-162
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] A Multilingual Approach to Structured Data Extraction from Radiological Reports using Large Language Models: Focus on TNM Staging Accuracy (2023)
  • Author(s): Hidetoshi Matsuo
  • Organizer: ECR2024
  • Int'l Joint Research