Image quality improvement of Cone-beam CT by use of deep learning and transfer learning

• Project/Area Number: 20K08073
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 52040:Radiological sciences-related
• Research Institution: The University of Tokyo
• Principal Investigator: 名和 要武 東京大学, 医学部附属病院, 助教 (00456914)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: 深層学習 / 画質改善 / 医学物理 / 医用画像 / 情報理論 / 情報工学

Outline of Research at the Start

放射線治療におけるCone-beam CT（CBCT）画像を、深層学習を用いて画質改善させる新たな技術を開発する。放射線治療の実臨床への普遍的な応用を目的として、特定の施設や特定の部位のCBCT画像を画質改善させる学習済みネットワークが、他施設や他部位の画質改善を効率的に行えるよう、学習済みネットワークを転移学習させる新たな枠組みを構築する。

Outline of Annual Research Achievements

放射線治療におけるCone-beam CT（CBCT）は、画像誘導放射線治療において照射の位置照合に使用されているが、治療効果を向上させる様々な発展的利用が期待されている。CBCTはコーン状の線束を用いることから散乱線によるノイズが顕著であり、画質改善はその有効利用において必須の要素技術である。本研究は深層学習を用いてCBCTを画質改善し、その発展的利用法を検討するとともに、画質改善技術を他施設や他部位の画像にも汎化性をもって適用できる枠組みを構築することを目的とする。当該年度は以下を実施した。
１）敵対的ネットワーク（Generative Adversarial Network: GAN）を用いたCBCT画質改善技術を、megavoltage CT（MVCT）に応用し、ロス関数の改良により、少ない症例数でMVCTを画質改善する新たな手法を構築した。
２）発展的利用として、特徴量解析による放射線治療後の予後予測モデルの構築を行った。
３）発展的利用として、深層学習を用いた臓器の自動輪郭抽出を検討した。

特に２）については、CBCTの発展的利用のための探索研究の一つとして、救急医学分野の医用画像の特徴量解析を行い、画質が特徴量に与える影響を精査した。本研究については日本医学物理学会で発表を行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

CycleGANを用いた医用画像の画質改善については学会発表および誌上発表を行っており、十分な成果が得られている。また画質改善後の医用画像の発展的応用として、特徴量解析や自動輪郭抽出についても具体的な解析を行っている。さらに、医用画像における画質と特徴量の関係を精査し、学会発表を行っている。他施設や他部位への利用を目的とした転移学習の研究については引き続き解析を検討中であり、上記区分とした。

Strategy for Future Research Activity

１）CBCTの更なる画質改善にむけたロス関数の改良
２）少ない教師データでも安定的に学習できる正則化手法の構築
３）画像ドメイン変換における画質改善の臨床的評価法の構築
４）他施設や他部位の画質改善への転移学習の検討
５）医用画像の特徴量解析の実施
６）医用画像の自動輪郭抽出法の構築

Research Products

• [Journal Article] Training of deep cross‐modality conversion models with a small dataset, and their application in megavoltage CT to kilovoltage CT conversion (2022)
  • Author(s): Ozaki S, Kaji S, Nawa K, Imae T, Aoki A, Nakamoto T, Ohta T, Nozawa Y, Yamashita H, Haga A, Nakagawa K
  • Journal Title: Medical Physics Volume: - Issue: 6 Pages: 1-14
  • DOI: 10.1002/mp.15626
  • Peer Reviewed / Open Access
• [Journal Article] Improvement in Image Quality of CBCT during Treatment by Cycle Generative Adversarial Network (2020)
  • Author(s): 今江 禄一, 鍛冶 静雄, 木田 智士, 松田 佳奈子, 竹中 重治, 青木 淳, 仲本 宗泰, 尾崎 翔, 名和 要武, 山下 英臣, 中川 恵一, 阿部 修．
  • Journal Title: Japanese Journal of Radiological Technology Volume: 76 Issue: 11 Pages: 1173-1184
  • DOI: 10.6009/jjrt.2020_JSRT_76.11.1173
  • NAID: 130007941322
  • ISSN: 0369-4305, 1881-4883
  • Peer Reviewed / Open Access
• [Journal Article] Surface and build‐up dose comparison between Elekta 6 MV flattening filter and flattening‐filter‐free beams using an advanced Markus ionization chamber and a solid water‐equivalent phantom (2020)
  • Author(s): Imae Toshikazu、Takenaka Shigeharu、Watanabe Yuichi、Aoki Atsushi、Matsuda Kanako、Sasaki Katsutake、Saegusa Shigeki、Nawa Kanabu、Nakagawa Keiichi、Abe Osamu
  • Journal Title: Journal of Applied Clinical Medical Physics Volume: 21 Issue: 12 Pages: 334-339
  • DOI: 10.1002/acm2.13094
  • Peer Reviewed / Open Access
• [Journal Article] Case Report: Anaplastic Astrocytoma Treated with Postoperative Radiotherapy Using Flattening Filter-Free Volumetric Arc Therapy (FFF-VMAT) during Pregnancy Acceptable Fetal Dosimetry (2020)
  • Author(s): Noyama Tomoyuki、Takahashi Wataru、Nozawa Yuki、Nawa Kanabu、Yamashita Hideomi、Abe Osamu、Nakagawa Keiichi
  • Journal Title: Journal of Cancer Therapy Volume: 11 Issue: 11 Pages: 738-744
  • DOI: 10.4236/jct.2020.1111063
  • Peer Reviewed / Open Access
• [Presentation] IMRTを用いた直腸癌術前放射線治療におけるリスク臓器線量の患者体位による比較 (2022)
  • Author(s): 野沢勇樹, 扇田真美, 南谷優成, 名和要武, 太田岳史, 山下英臣
  • Organizer: 第35回日本放射線腫瘍学会学術大会
• [Presentation] Denoising and Contrast Enhancement of MVCT Using Deep Learning-based Methods (2021)
  • Author(s): Ozaki S, Kaji S, Nawa K, Imae T, Aoki A, Nakamoto T, Ohta T, Nozawa Y, Haga A, Nakagawa K
  • Organizer: 第121回日本医学物理学会学術大会
• [Presentation] Training modality conversion models with small data and its application to MVCT to kVCT conversion (2021)
  • Author(s): Ozaki S, Kaji S, Nawa K, Imae T, Aoki A, Nakamoto T, Ohta T, Nozawa Y, Haga A, Nakagawa K
  • Organizer: ESTRO 2021 Annual Meeting
  • Int'l Joint Research
• [Presentation] Realtime 3D movie reconstruction algorithm using MR-linac by deep learning (2020)
  • Author(s): Y. Tamura, K. Demachi, R. Kitsunai, C. R. Bhusal, M. Nakano, K. Nawa and K. Nakagawa
  • Organizer: The 119th Scientific Meeting of the Japan Society of Medical Physics
• [Presentation] Prediction of Uterus Volume Shrinkage for Cervical Cancer Patients During Radiotherapy Using Machine-Learning Approach with Treatment Planning-CT Radiomic Features (2020)
  • Author(s): M. Nakano, T. Nakamoto, Y. Kumai, Y. Koizumi, M. Sumi, K. Nawa, T. Imae, Y. Yoshioka and M. Oguchi
  • Organizer: AAPM2020
  • Int'l Joint Research
• [Presentation] Motion Viewを用いた呼気息止め下での肝細胞癌SBRTの当院での初期経験 (2020)
  • Author(s): 野山 友幸, 山下 英臣, 野沢 勇樹, 名和 要武, 今江 禄一, 中野 正寛, 中川 恵一
  • Organizer: 日本放射線腫瘍学会第33回学術大会
• [Presentation] 左乳癌乳房全切除術後照射における3D-CRTとVMATの比較および呼吸性移動の検討 (2020)
  • Author(s): 野沢 勇樹, 扇田 真美, 名和 要武, 太田 岳史, 尾崎 翔, 仲本 宗泰, 山下 英臣, 中川 恵一
  • Organizer: 日本放射線腫瘍学会第33回学術大会
• [Presentation] 強度変調回転治療中に取得したCBCT画像に対する深層学習を用いた画質改善の試み (2020)
  • Author(s): 青木 淳, 今江 禄一, 竹中 重治, 鍛冶 静雄, 木田 智士, 名和 要武, 松田 佳奈子, 竹内 幸浩, 三枝 茂輝, 佐々木 克剛, 一宇 佑太, 中川 恵一, 山下 英臣, 岩永 秀幸, 阿部 修
  • Organizer: 日本放射線腫瘍学会第33回学術大会
• [Remarks] 東京大学医学部附属病院 放射線科 放射線治療部門 > 研究・業績
  • URL: http://u-tokyo-rad.jp/works/index.html