• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Data-driven CT image harmonization and hierarchical modeling in multi-institutional databases for musculoskeletal disease analysis

Research Project

Project/Area Number 21K18080
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 90130:Medical systems-related
Research InstitutionNara Institute of Science and Technology

Principal Investigator

SOUFI MAZEN  奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (80823525)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2021: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Keywords筋骨格解析 / 深層学習 / 疾患進行モデリング / image harmonization / hierarchical modeling / musculoskeletal disease
Outline of Research at the Start

単一機関で撮影されたCT画像データセットでトレーニングされた深層学習システムは、ドメインシフトの問題があるために、他の機関のデータセットに適用するとパフォーマンスが低下する。本研究の目的は、ドメインシフトの問題に対処するために、多施設データベースのCT画像を用いて、data-driven調和及び階層モデリングに基づいた自動アプローチを開発することである。

Outline of Annual Research Achievements

2023年、多装置・施設からのCT画像を含むデータベースにより、前年に開発された筋骨格セグメンテーションモデルの予測の不確実性を検証した。データベースには、変形性股関節症や軟部肉腫などのさまざまな患者の病気や、臥位や立位のCTなどの体位のバリエーションが含まれていた。予測の不確実性は、単一データベース(大阪大学所属病院)内の50例における22の構造(3つの骨と19の筋肉)の正解データで検証し、多装置・施設データーベースにおいて、中殿筋の正解データを作成し、モデルを検証した。構造におけるセグメンテーション誤差の検出において、平均ROCは0.95であった。さらに、このモデルは、筋肉体積(誤差:3.87%)と筋肉密度(誤差:1.31HU)の予測において、高い精度を示した。
検証されたモデルは、大阪大学所属病院の2,579 CT画像を含む股関節疾患患者の大規模データベース内の22の骨と筋肉を予測するために使用した。変形性股関節症を等級付けするための深層学習モデルを開発し(精度:96.4%)、CT画像内の患側と非患側を予測した(Masuda M, et al. IJCARS, 2024)。このモデルは、不正確な(人間によるわずかな修正で修正可能)セグメンテーションと、失敗したセグメンテーションを含む結果を正常に識別できた。したがって、予測されたセグメンテーションは現在、大規模データベースで筋疾患の進行を分析するために使用している。
さらに、16個の構造を含む体幹部の筋肉と脂肪を予測するモデルが開発した。このモデルは10例で検証し、高い精度を示しました(Dice係数:83.8%; Sanaa G, et al. MI研、2024)。現在、体幹部CT画像の大規模データベースにおけるセグメンテーションと疾患進行分析に使用している。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

筋骨格セグメンテーションモデルの検証と予測不確実性は計画どおりに実行した。このモデルは、大規模データベースのセグメンテーションと分析において高い信頼性を示した。現在、いくつかの国内外のデータベースと股関節疾患患者の統計的形状変動を分析するために使用されている。大阪大学所属病院の大規模データベースの研究により、股関節疾患患者の筋肉疾患の進行において臨床的に重要な結果が示された。筋骨格セグメンテーションモデルと解析アプローチは、遺伝性筋疾患患者のCT画像への適用に向けてさらに研究中である。
さらに、体幹部筋骨格セグメンテーションへの拡張も計画どおりに実行した。学習データは増加しており、腱板領域を考慮するためにさらにいくつかの筋肉を追加している。これにより、全身の筋骨格セグメンテーションの開発が可能になる。
ただし、ボクセルごとの輝度値変化のモデリングは計画どおりに実行できなかった。主な課題は、筋肉内の脂肪組織のランダムな分布であり、そのため、異なる患者の筋肉間の対応関係を確立するのは簡単ではない。画像位置合わせパイプラインの改善は検討中である。

Strategy for Future Research Activity

現在の筋骨格セグメンテーションモデルの主な課題は、3Dモデル構造ではなく2Dを使用することである。これにより、隣接する構造/スライスの3D情報が活用されない。これにより、大規模データベースで2Dスライスが金属アーティファクトで破損するとセグメンテーション失敗が多く発生する。現在、3DnnUNetなどの3Dモデルがテストしており、予備実験結果では2Dモデルと比較して改善が見られている。3Dモデルは体幹部のセグメンテーションにも適用している。
もう1つの課題は、変形性股関節症の骨疾患または加齢に起因する変化は、遺伝的要因によって脂肪変性のパターンと違うことである。後者は、学習データセットの股関節疾患患者で観察されたものとは異なり、筋肉変性の選択的(筋肉特異的)パターンを示している。これらの変動を考慮するには、学習データの拡張と、局所的な変動を考慮したデータ拡張アプローチの開発が必要だと考えている。

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (15 results)

All 2024 2023 2022 2021

All Journal Article (6 results) (of which Int'l Joint Research: 6 results,  Peer Reviewed: 6 results,  Open Access: 4 results) Presentation (9 results) (of which Int'l Joint Research: 3 results,  Invited: 2 results)

  • [Journal Article] Automatic hip osteoarthritis grading with uncertainty estimation from computed tomography using digitally-reconstructed radiographs2024

    • Author(s)
      Masuda Masachika、Soufi Mazen、Otake Yoshito、Uemura Keisuke、Kono Sotaro、Takashima Kazuma、Hamada Hidetoshi、Gu Yi、Takao Masaki、Okada Seiji、Sugano Nobuhiko、Sato Yoshinobu
    • Journal Title

      International Journal of Computer Assisted Radiology and Surgery

      Volume: 19 Issue: 5 Pages: 903-915

    • DOI

      10.1007/s11548-024-03087-1

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Hybrid representation-enhanced sampling for Bayesian active learning in musculoskeletal segmentation of lower extremities2024

    • Author(s)
      Li Ganping、Otake Yoshito、Soufi Mazen、Taniguchi Masashi、Yagi Masahide、Ichihashi Noriaki、Uemura Keisuke、Takao Masaki、Sugano Nobuhiko、Sato Yoshinobu
    • Journal Title

      International Journal of Computer Assisted Radiology and Surgery

      Volume: in press Issue: 11 Pages: 2177-2186

    • DOI

      10.1007/s11548-024-03065-7

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Preoperative Assessment of Vessel-to-acetabular Rim Distances in Non-contrast CT Images for Total Hip Arthroplasty2024

    • Author(s)
      Chen Yingdong、Soufi Mazen、Uemura Keisuke、Otake Yoshito、Takao Masaki、Iwakoshi Shinichi、Tanaka Toshihiro、Sugano Nobuhiko、Sato Yoshinobu
    • Journal Title

      Advanced Biomedical Engineering

      Volume: 13 Issue: 0 Pages: 176-188

    • DOI

      10.14326/abe.13.176

    • ISSN
      2187-5219
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] 4D-foot analysis on effect of arch support on ankle, subtalar, and talonavicular joint kinematics2023

    • Author(s)
      Miyamoto Takuma、Otake Yoshito、Nakao Satoko、Kurokawa Hiroaki、Kosugi Shinichi、Taniguchi Akira、Soufi Mazen、Sato Yoshinobu、Tanaka Yasuhito
    • Journal Title

      Journal of Orthopaedic Science

      Volume: in press Issue: 6 Pages: 1337-1344

    • DOI

      10.1016/j.jos.2022.10.009

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Artificial intelligence-based volumetric analysis of muscle atrophy and fatty degeneration in patients with hip osteoarthritis and its correlation with health-related quality of life2022

    • Author(s)
      Iwasa Makoto、Takao Masaki、Soufi Mazen、Uemura Keisuke、Otake Yoshito、Hamada Hidetoshi、Sato Yoshinobu、Sugano Nobuhiko、Okada Seiji
    • Journal Title

      International Journal of Computer Assisted Radiology and Surgery

      Volume: 18 Issue: 1 Pages: 71-78

    • DOI

      10.1007/s11548-022-02797-8

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Development of an open-source measurement system to assess the areal bone mineral density of the proximal femur from clinical CT images2022

    • Author(s)
      Uemura, K., Otake, Y., Takao, M., Makino, H., Soufi, M., Iwasa, M., Sugano, N. and Sato, Y.
    • Journal Title

      Archives of Osteoporosis

      Volume: 17(1) Issue: 1 Pages: 17-17

    • DOI

      10.1007/s11657-022-01063-3

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 体幹部CT画像における自動筋骨格セグメンテーション2024

    • Author(s)
      ゴリン サナー アミナ, 崇風 まあぜん, 大竹 義人, 政木 勇人, 村上 陽子, 永谷 幸裕, 渡邉 嘉之, 上村 圭亮, 高尾 正樹, 菅野 伸彦, 佐藤 嘉伸
    • Organizer
      医用画像処理一般・メディカルイメージング連合フォーラム
    • Related Report
      2023 Research-status Report
  • [Presentation] Medical Imaging-based Musculoskeletal System Analysis in the Era of AI2024

    • Author(s)
      Mazen Soufi
    • Organizer
      Third International Conference on Biomedical Engineering ICBME 2024-Damascus
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] Basics of advanced AI architectures and applications to musculoskeletal analysis2024

    • Author(s)
      Mazen Soufi
    • Organizer
      AFOMP School Webinar
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Validation of an automated musculoskeletal segmentation model for lower limb muscle assessment in a large-scale database of clinical CT images of hip osteoarthritis patients2023

    • Author(s)
      Mazen Soufi, Yoshito Otake, Makoto Iwasa, Keisuke Uemura, Masaki Takao4, Nobuhiko Sugano2, Yoshinobu Sato
    • Organizer
      The International Forum on Medical Imaging in Asia (IFMIA)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Automated Musculoskeletal Foot Segmentation in CT Images for Patient-Specific Functional Foot Analysis2022

    • Author(s)
      Mazen Soufi, Yoshito Otake, Naoki Ito, Yuto Masaki, Tomoki Hakotani, Takuma Miyamoto, Yasuhito Tanaka, Masahiro Hashimoto, Yoshitake Yamada, Minoru Yamada, Yoichi Yokoyama, Masahiro Jinzaki, Keisuke Uemura, Masaki Takao, Nobuhiko Sugano, Yoshinobu Sato
    • Organizer
      医用画像研究会(MI研2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] Virtual Standing Position Transformation from Supine CT using Whole-body Upright CT Scanner2022

    • Author(s)
      Tomoki Hakotani, Yoshito Otake, Mazen Soufi, Masahiro Hashimoto, Yoshitake Yamada, Minoru Yamada, Yoichi Yokoyama, Keisuke Uemura, Masaki Takao, Nobuhiko Sugano, Masahiro Jinzaki, Yoshinobu Sato
    • Organizer
      医用画像研究会(MI研2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] BMD-GAN: Bone Mineral Density Estimation Using X-Ray Image Decomposition into Projections of Bone-Segmented Quantitative Computed Tomography Using Hierarchical Learning2022

    • Author(s)
      Yi Gu, Yoshito Otake, Keisuke Uemura, Mazen Soufi, Masaki Takao, Nobuhiko Sugano, Yoshinobu Sato
    • Organizer
      Medical Image Computing and Computer Assisted Intervention; MICCAI 2022
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Automatic Multi-Measure Classification of Hip Osteoarthritis Based on Digitally-Reconstructed Radiographs using Deep Learning2022

    • Author(s)
      Masachika Masuda, Mazen Soufi, Yoshito Otake, Keisuke Uemura, Masaki Takao, Nobuhiko Sugano, Yoshinobu Sato
    • Organizer
      医用画像研究会(MI研2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] CT画像からの足部筋骨格セグメンテーションにおける撮影肢位バリエーションに対応するための推論時姿勢正規化2021

    • Author(s)
      伊東尚輝, スーフィー マーゼン, 大竹義人, 宮本拓馬, 田中康仁, 上村圭亮, 高尾正樹, 菅野伸彦, 佐藤嘉伸
    • Organizer
      医用画像研究会(MI研2021)
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi