放射線診断学の画像とレポートを用いた深層学習の応用

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K07665
• Research Institution: Kobe University
• Principal Investigator: 西尾 瑞穂 神戸大学, 医学部附属病院, 助教 (50581998)
• Co-Investigator(Kenkyū-buntansha): 藤本 晃司 京都大学, 医学研究科, 特定准教授 (10580110) ; 杉山 治 近畿大学, 情報学部, 准教授 (40586038) ; 倉田 靖桐 京都大学, 医学研究科, 助教 (40836178)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 深層学習 / 自然言語処理 / 放射線診断学

Outline of Annual Research Achievements

Radimagenetと呼ばれる100万枚ほどのラベル付きの放射線画像を利用できるようになったため、放射線画像に関する深層学習の基盤モデルの作成を行った。Radimagenetをベースにすることで、医用画像に関する様々な用途に利用可能なモデルを開発できる可能性がある。今回開発した基盤モデルからの派生モデルも作成中である。
JMIDと呼ばれる日本医学放射線学会が管理・運用するデータベースを利用できるようになった。JMIDのデータベースには100万件以上のCT・MRI検査（数億枚のCT・MRI画像）があるとされ、これを用いることで医用画像の基盤モデルの作成の高性能化が期待できる。
また、胸部単純レントゲン写真からレポートの文章を生成するシステムのプロトタイプを作成した。現状では、胸部単純レントゲン写真から英語のレポートのみを出力するモデルとなる。現在は、英語のレポートだけでなく、日本語のレポートを出力できるようモデルを改造している。
放射線診断レポートに関する自然言語処理として、named entity recognitionを行うモデルを作成した。また、放射線診断レポートから肺癌のTNM分類を推定するモデルの作成も行った。これらに関する論文を執筆し、NTCIR16で発表した。また、医療画像に関する深層学習のモデルを複数作り、その論文が掲載された。主なものとしては、前立腺癌の自動スコアのモデル、骨転移の自動検出のモデル、COVID19を自動診断するモデルなどがあげられる。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度は、主に(i) 医用画像に関する基盤モデルの作成、(ii) 胸部単純レントゲン写真からレポートの文章を生成するシステムのプロトタイプの作成、(iii) 放射線診断レポートについての自然言語処理の研究、の三つを行った。この点から研究はおおむね順調に進展していると考えられる。今後は、JMIDのデータベースが利用できるため、研究がより進展出来ると期待される。

Strategy for Future Research Activity

RadimagenetのデータセットやJMIDのデータベースが利用できるため、これらを使った医用画像や医用文書の基盤モデルの作成を行う。また、作成された基盤モデルからの派生モデルの研究も行う。胸部単純レントゲン写真からレポートの文章を生成するモデルの改善も行っていく。

Causes of Carryover

新型コロナで学会出張が少なかったこと、RadimagenetのデータセットやJMIDのデータベースが利用できるようになり、データセットの加工のための費用が抑えらえたこと、の二点が影響した。

Research Products

• [Int'l Joint Research] University of Zurich(スイス)
  • Country Name: SWITZERLAND
  • Counterpart Institution: University of Zurich
• [Int'l Joint Research] Dalle Molle Institute(スイス)
  • Country Name: SWITZERLAND
  • Counterpart Institution: Dalle Molle Institute
• [Journal Article] Label Distribution Learning for Automatic Cancer Grading of Histopathological Images of Prostate Cancer (2023)
  • Author(s): Nishio Mizuho、Matsuo Hidetoshi、Kurata Yasuhisa、Sugiyama Osamu、Fujimoto Koji
  • Journal Title: Cancers Volume: 15 Pages: 1535～1535
  • DOI: 10.3390/cancers15051535
  • Peer Reviewed / Open Access
• [Journal Article] Bayesian multidimensional nominal response model for observer study of radiologists (2022)
  • Author(s): Nishio Mizuho、Kobayashi Daigo、Matsuo Hidetoshi、Urase Yasuyo、Nishioka Eiko、Murakami Takamichi
  • Journal Title: Japanese Journal of Radiology Volume: 41 Pages: 449～455
  • DOI: 10.1007/s11604-022-01366-y
  • Peer Reviewed
• [Journal Article] Deep learning-based algorithm improved radiologists’ performance in bone metastases detection on CT (2022)
  • Author(s): Noguchi Shunjiro、Nishio Mizuho、Sakamoto Ryo、Yakami Masahiro、Fujimoto Koji、Emoto Yutaka、Kubo Takeshi、Iizuka Yoshio、Nakagomi Keita、Miyasa Kazuhiro、Satoh Kiyohide、Nakamoto Yuji
  • Journal Title: European Radiology Volume: 32 Pages: 7976～7987
  • DOI: 10.1007/s00330-022-08741-3
  • Peer Reviewed
• [Journal Article] Unsupervised-learning-based method for chest MRI?CT transformation using structure constrained unsupervised generative attention networks (2022)
  • Author(s): Matsuo Hidetoshi、Nishio Mizuho、Nogami Munenobu、Zeng Feibi、Kurimoto Takako、Kaushik Sandeep、Wiesinger Florian、Kono Atsushi K.、Murakami Takamichi
  • Journal Title: Scientific Reports Volume: 12 Pages: -
  • DOI: 10.1038/s41598-022-14677-x
  • Peer Reviewed / Open Access
• [Journal Article] Deep learning model for the automatic classification of COVID-19 pneumonia, non-COVID-19 pneumonia, and the healthy: a multi-center retrospective study (2022)
  • Author(s): Nishio Mizuho、Kobayashi Daigo、Nishioka Eiko、Matsuo Hidetoshi、Urase Yasuyo、Onoue Koji、Ishikura Reiichi、Kitamura Yuri、Sakai Eiro、Tomita Masaru、Hamanaka Akihiro、Murakami Takamichi
  • Journal Title: Scientific Reports Volume: 12 Pages: -
  • DOI: 10.1038/s41598-022-11990-3
  • Peer Reviewed / Open Access
• [Journal Article] Approach for Named Entity Recognition and Case Identification Implemented by ZuKyo-JA Sub-team at the NTCIR-16 Real-MedNLP Task (2022)
  • Author(s): Koji Fujimoto, Mizuho Nishio, Osamu Sugiyama, Kana Ichikawa, Joseph Cornelius, Oscar Lithgow-Serrano, Vani Kanjirangat, Aron N Horvath, Farhad Nooralahzadeh, Michael Krauthammer, Fabio Rinaldi
  • Journal Title: Proceedings of NTCIR-16 Volume: - Pages: 322～329
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Leveraging Token-Based Concept Information and Data Augmentation in Few-Resource NER: ZuKyo-EN at the NTCIR-16 Real-MedNLP task (2022)
  • Author(s): Joseph Cornelius, Oscar Lithgow-Serrano, Vani Kanjirangat, Fabio Rinaldi, Koji Fujimoto, Mizuho Nishio, Osamu Sugiyama, Kana Ichikawa, Farhad Nooralahzadeh, Aron Horvath, Michael Krauthammer
  • Journal Title: Proceedings of NTCIR-16 Volume: - Pages: 316～321
  • Peer Reviewed / Open Access / Int'l Joint Research