• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

画像生成AIとの循環的・敵対的学習に基づく画像所見生成AIの開発

Research Project

Project/Area Number 23K07117
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 52040:Radiological sciences-related
Research InstitutionMeijo University

Principal Investigator

寺本 篤司  名城大学, 情報工学部, 教授 (00513780)

Co-Investigator(Kenkyū-buntansha) 近藤 征史  藤田医科大学, 医学部, 教授 (00378077)
宮田 雅美  藤田医科大学, その他部局等, 講師 (40936324)
今泉 和良  藤田医科大学, 医学部, 教授 (50362257)
Project Period (FY) 2023-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2025: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Keywords生成AI / CT画像 / 画像所見 / 画像生成 / 医用画像 / 画像診断 / 深層学習 / キャプション生成
Outline of Research at the Start

肺がん患者のX線CT画像を対象に、画像所見から擬似CT画像を生成するAIとCT画像から擬似画像所見を 生成するAIを循環的・敵対的に学習させることで高精度に画像所見を生成する技術を 開発する.さらに,本手法は画像所見から擬似的な医用画像を出力できるため,それ らをAIの学習や医療系学生への教育への応用に利用する方法を検討する.

Outline of Annual Research Achievements

本研究では、胸部CT画像と対応する画像所見のデータベースを構築し、画像キャプショニング技術を応用して、CT画像から画像所見文を自動生成するAIモデルの開発を行った。77症例の実画像と放射線科医による画像所見のペアデータを用いてモデルを学習させた結果、生成された画像所見文は文法的に自然であり、かつ画像の特徴を的確に反映していた。さらに、生成された所見文に基づき良性・悪性を識別する分類タスクを実施したところ、約80%の正解率を達成し、診断支援ツールとしての有用性が示唆された。また、文章からCT画像を生成する逆方向のAIモデルについても開発を進め、同一データベースを用いてStable Diffusionによる学習を行った。生成時のパラメータ調整を重ねた結果、実際のCT画像に近い質感と構造を持つ画像が得られた。これらの成果は、CT画像から画像所見の生成、ならびに画像所見から画像生成に関する研究成果として、国内学会において口頭発表を行い、一定の評価を得ている。将来的には、これら二つのモデルを循環的かつ敵対的に連携させることで、生成精度のさらなる向上と高品質な画像所見生成の実現を目指している。加えて、本研究の成果を他のモダリティにも応用すべく、肺の細胞診画像を対象とした同様の実験も試行し、画像と所見の対応関係が良好に学習されることを確認した。この細胞診に関する研究成果については2篇の英語論文としてまとめ、すでに国際学術誌に採択・発行されている。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究は、胸部CT画像とその画像所見の対応データを基に、画像所見生成AIおよび画像生成AIの開発を行うものである。これまでに、医師による所見の収集とデータベース構築を進め、77症例に対してCT画像と画像所見のペアデータを整備した。これを用いて画像キャプショニングモデルの学習を実施したところ、文法的に自然で、かつ画像の特徴を反映した所見文の自動生成が可能であることを確認した。また、生成された所見文を用いた良性・悪性分類性能を評価したところ、約80%の正解率を得るなど、診断支援ツールとしての有効性が示唆された。さらに、Stable Diffusionを活用した画像生成モデルの構築にも着手し、画像所見からCT画像を生成する処理の最適化を進めた結果、実画像に近い高品質なCT画像の生成が可能となった。以上のように、研究計画は概ね順調に進展している。一方で、現時点では症例数がまだ十分とはいえず、特に良性疾患の症例が少ないことが課題である。今後は症例収集を継続し、よりバランスの取れたデータベースの構築に取り組む予定である。

Strategy for Future Research Activity

本研究をさらに推進するためには、まず症例数の拡充が重要であり、特に現時点で不足している良性疾患のCT画像を中心に、データセットの拡充を進める。これにより、モデルの学習精度や汎化性能の向上が期待される。また、生成された画像所見やCT画像については、医師による主観的評価を実施し、臨床的妥当性についての検証を行う。これらの定性的評価を定量的な評価指標と組み合わせることで、モデルの有用性を総合的に検討し、最終的な研究成果として取りまとめていく方針である。現時点で計画の大幅な変更は予定していない。

Report

(2 results)
  • 2024 Research-status Report
  • 2023 Research-status Report
  • Research Products

    (14 results)

All 2025 2024 2023 Other

All Int'l Joint Research (1 results) Journal Article (2 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (10 results) (of which Int'l Joint Research: 2 results) Remarks (1 results)

  • [Int'l Joint Research] Memorial Sloan Kettering Cancer Center(米国)

    • Related Report
      2024 Research-status Report
  • [Journal Article] Automated Description Generation of Cytologic Findings for Lung Cytological Images Using a Pretrained Vision Model and Dual Text Decoders: Preliminary Study2025

    • Author(s)
      Teramoto Atsushi、Michiba Ayano、Kiriyama Yuka、Tsukamoto Tetsuya、Imaizumi Kazuyoshi、Fujita Hiroshi
    • Journal Title

      Cytopathology

      Volume: 36 Issue: 3 Pages: 240-249

    • DOI

      10.1111/cyt.13474

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Automated Generation of Lung Cytological Images from Image Findings Using Text-to-Image Technology2024

    • Author(s)
      Teramoto Atsushi、Kiriyama Yuka、Michiba Ayano、Yazawa Natsuki、Tsukamoto Tetsuya、Imaizumi Kazuyoshi、Fujita Hiroshi
    • Journal Title

      Computers

      Volume: 13 Issue: 11 Pages: 303-303

    • DOI

      10.3390/computers13110303

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Bi-Directional Generation Between Images and Their Finding in Lung Cytological Images2025

    • Author(s)
      A.Teramoto, Y.Kiriyama, A.Michiba, N.Yazawa, T.Tsukamoto, K.Imaizumi, H.Fujita
    • Organizer
      IFMIA 2025
    • Related Report
      2024 Research-status Report
    • Int'l Joint Research
  • [Presentation] Automated Report Generation in Lung Cytology Using CNN and Multiple Transformers2024

    • Author(s)
      A.Teramoto, A.Michiba, Y.Kiriyama, T.Tsukamoto, H.Fujita
    • Organizer
      CARS 2024
    • Related Report
      2024 Research-status Report
    • Int'l Joint Research
  • [Presentation] 画像キャプショニングモデルを用いた胸部CT画像の画像所見生成と良悪性鑑別の試み2024

    • Author(s)
      長尾茉衣子, 齋藤邦明, 今泉和良, 近藤征史, 浦田海翔, 寺本篤司
    • Organizer
      令和六年度 電気・電子・情報関係学会 東海支部連合大会
    • Related Report
      2024 Research-status Report
  • [Presentation] 拡散モデルを用いた医師の画像所見に基づく胸部CT画像生成の試み2024

    • Author(s)
      浦田海翔, 寺本篤司, 長尾茉衣子,今泉和良,近藤征史, 藤田広志
    • Organizer
      令和六年度 電気・電子・情報関係学会 東海支部連合大会
    • Related Report
      2024 Research-status Report
  • [Presentation] 画像キャプショニングモデルを用いた胸部CT画像の所見生成と良悪性鑑別2024

    • Author(s)
      長尾茉衣子, 齋藤邦明, 今泉和良, 近藤征史, 浦田海翔, 寺本篤司
    • Organizer
      医用画像情報学会創立60周年200回記念大会
    • Related Report
      2024 Research-status Report
  • [Presentation] 胸部CT結節画像の自動生成に関する予備的検討:Stable Diffusionによる画像生成と定量評価2024

    • Author(s)
      浦田海翔, 寺本篤司, 長尾茉衣子, 今泉和良, 近藤征史, 藤田広志
    • Organizer
      2024年度日本生体医工学会東海支部大会
    • Related Report
      2024 Research-status Report
  • [Presentation] Stable Diffusionを用いた細胞診画像所見に基づく細胞像の自動生成2024

    • Author(s)
      寺本篤司, 桐山諭和, 道塲彩乃, 塚本徹哉, 藤田広志
    • Organizer
      医用画像情報学会創立60周年200回記念大会
    • Related Report
      2024 Research-status Report
  • [Presentation] Stable DiffusionのFinetuningによる画像所見からの胸部CT結節像の生成2024

    • Author(s)
      浦田海翔, 寺本篤司, 長尾茉衣子, 今泉和良, 近藤征史, 藤田広志
    • Organizer
      第22回情報学ワークショップ(WiNF2024
    • Related Report
      2024 Research-status Report
  • [Presentation] Vision TransformerとGPT-2を用いた胸部X線画像の読影レポート自動生成2023

    • Author(s)
      伊佐地桔平, 寺本篤司, 藤田広志
    • Organizer
      令和五年度 電気・電子・情報関係学会 東海支部連合大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 胸部X線画像データベースを用いた読影レポートの自動生成に関する基礎的検討2023

    • Author(s)
      伊佐地桔平, 寺本篤司, 藤田広志
    • Organizer
      令和五年度 医用画像情報学会 秋季(197回)大会
    • Related Report
      2023 Research-status Report
  • [Remarks] 寺本研究室HP 研究業績

    • URL

      https://sites.google.com/view/teralab-ai/publication?authuser=0

    • Related Report
      2024 Research-status Report

URL: 

Published: 2023-04-13   Modified: 2025-12-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi