• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Research-status Report

全身CT画像と診断レポートを複合した機械学習による大規模医療データセットの構築

Research Project

Project/Area Number 22K12152
Research InstitutionYamaguchi University

Principal Investigator

間普 真吾  山口大学, 大学院創成科学研究科, 教授 (70434321)

Co-Investigator(Kenkyū-buntansha) 呉本 尭  日本工業大学, 先進工学部, 教授 (40294657)
平野 靖  山口大学, 医学部附属病院, 准教授 (90324459)
Project Period (FY) 2022-04-01 – 2025-03-31
Keywords深層学習 / 医用画像 / 画像所見 / 自然言語処理 / 注意機構 / 特徴抽出
Outline of Annual Research Achievements

前年度に引き続き,PET-CT検査に付されている大量の診断レポート(画像所見)に対して,所見に含まれる各文が示す部位を識別(ラベリング)し,部位ごとの画像所見として再構築するシステムの改良を行った.前年度は,識別対象文とその前文を同時に入力することで,前文の文脈を考慮できるモデルの構築を行っていた.しかし,前文と識別対象文が指す部位が全く異なる場合,部位ラベリングに悪影響が生じることも明らかとなった.したがって,今年度は,ラベリングにおける前文の重要度を判定する注意機構を付与し,文脈に応じて適切に前文の考慮バランスを設定できるシステムを構築し,その性能を検証した.また,AIとユーザが共同で効率的なラベリングを行う能動学習を組み込んだ方式も開発した.
これまでの研究では,CT画像のある特定のスライスを対象に,正常や異常のラベルを付与する研究が主であったが,たとえば胸部CTでは数百枚のスライスで1症例が構成されている.したがって,全スライスを総合的に考慮した識別器の構築が理想であり,3次元入力対応の深層学習を使用することが考えられるが,大量のメモリを搭載する非常に高価なGPUを使用しない限り,プログラムの実行が困難である.本問題の解決のため,3次元画像から重要な特徴を効果的に抽出可能な2つの方法,1)Axial断面,Sagittal断面,Coronal断面のそれぞれの方向からスライスをサンプリングし,多視点の情報を合成する方法,2)輝度ヒストグラムとテクスチャ特徴(LBPヒストグラム)で情報を表現して組み合わせることで、1症例のデータをコンパクトな形にまとめる方法を試みた.性能評価の結果,両手法とも,訓練データとテストデータで医療施設が異なる(撮影条件が異なる)場合に特に有用であることが分かった.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

画像所見文のラベリングにおいて,注意機構も活用し文脈のより深い理解が可能なモデルに発展させることができており,さらに,文章と画像データを融合させる研究に進んでいる.また,数百枚以上のスライス画像で構成される症例データを有効活用するにあたって,効果的に情報を抽出できる方式を開発したことは,教師ラベルつき大規模医療データセットの構築の研究を効率良く進めることに寄与するため,おおむね順調に進展していると判断した.

Strategy for Future Research Activity

今後は,所見文と画像データを組み合わせたマルチモーダル学習方式の研究を行い,各症例における異常の有無をラベリングできるシステムの構築を進める.この際,3次元データを効果的に扱うことができる今年度の成果との融合を検討し,ラベリング性能の向上を目指したい.

Causes of Carryover

物品費および旅費について当初計画より抑えることができたため次年度使用額が生じた.次年度,研究をさらに効率的に進めるための物品購入費,および研究成果発表のための旅費として活用する.

  • Research Products

    (9 results)

All 2024 2023

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 2 results) Presentation (5 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Domain transformation using semi-supervised CycleGAN for improving performance of classifying thyroid tissue images2024

    • Author(s)
      Ichiuji Yoshihito、Mabu Shingo、Hatta Satomi、Inai Kunihiro、Higuchi Shohei、Kido Shoji
    • Journal Title

      International Journal of Computer Assisted Radiology and Surgery

      Volume: - Pages: -

    • DOI

      10.1007/s11548-024-03061-x

    • Peer Reviewed
  • [Journal Article] Neural Network Approach to Investigating the Importance of Test Items for Predicting Physical Activity in Chronic Obstructive Pulmonary Disease2023

    • Author(s)
      Nakahara Yoshiki、Mabu Shingo、Hirano Tsunahiko、Murata Yoriyuki、Doi Keiko、Fukatsu-Chikumoto Ayumi、Matsunaga Kazuto
    • Journal Title

      Journal of Clinical Medicine

      Volume: 12 Pages: 4297~4297

    • DOI

      10.3390/jcm12134297

    • Peer Reviewed / Open Access
  • [Journal Article] Disease Area Detection for Chest X‐Ray Image Diagnosis Using Deep Learning with Pseudo Labeling and Ensemble Learning2023

    • Author(s)
      Gerdprasert Thanawit、Mabu Shingo、Kido Shoji
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: 18 Pages: 1772~1780

    • DOI

      10.1002/tee.23902

    • Peer Reviewed
  • [Journal Article] Improved artificial intelligence discrimination of minor histological populations by supplementing with color-adjusted images2023

    • Author(s)
      Hatta Satomi、Ichiuji Yoshihito、Mabu Shingo、Kugler Mauricio、Hontani Hidekata、Okoshi Tadakazu、Fuse Haruki、Kawada Takako、Kido Shoji、Imamura Yoshiaki、Naiki Hironobu、Inai Kunihiro
    • Journal Title

      Scientific Reports

      Volume: 13 Pages: -

    • DOI

      10.1038/s41598-023-46472-7

    • Peer Reviewed / Open Access
  • [Presentation] Combination of Contrastive Perturbation and Ensemble Learning on Pseudo-Labeling Using CNN & ViT for COVID-19 X-ray Classification2024

    • Author(s)
      Thanawit Gerdprasert、Shingo Mabu
    • Organizer
      The Twenty-Ninth International Symposium on Artificial Life and Robotics 2024
    • Int'l Joint Research
  • [Presentation] 自己符号化器付U-netの部分教師あり学習とその胸部CT画像における陰影領域抽出への応用2023

    • Author(s)
      濱田拓也、杉水俊輝、間普真吾、木戸尚治
    • Organizer
      第42回日本医用画像工学会大会
  • [Presentation] UTH-BERTと注意機構を用いた医療診断レポートにおける部位識別2023

    • Author(s)
      成田紗弥、間普真吾、木戸尚治
    • Organizer
      第42回日本医用画像工学会大会
  • [Presentation] Contrastive Learningを用いた甲状腺組織画像の識別と学習に有用なデータ拡張の検討2023

    • Author(s)
      魚住航大、間普真吾、八田聡美、稲井邦博、樋口翔平、木戸尚治
    • Organizer
      第42回日本医用画像工学会大会
  • [Presentation] Pseudo-Labeling With Contrastive Perturbation Using CNN & ViT for Chest X-ray Classification2023

    • Author(s)
      Thanawit Gerdprasert、Shingo Mabu
    • Organizer
      The 2023 IEEE 13th International Workshop on Computational Intelligence and Application
    • Int'l Joint Research

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi