• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Evaluation of the importance of training data quality in AI for liver tumor ultrasound diagnosis

Research Project

Project/Area Number 22K12863
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 90130:Medical systems-related
Research InstitutionShibaura Institute of Technology

Principal Investigator

山川 誠  芝浦工業大学, SIT総合研究所, 准教授 (60344876)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywords超音波 / AI / Deep Learning / 肝腫瘤 / アノテーション
Outline of Research at the Start

Deep Learningを用いたAI開発においては、教師データの質と量が重要である。肝腫瘤超音波画像診断支援AIにおいて、これまで教師データの量と精度の関係は明らかにされているが、教師データの質と精度の関係はまだ明らかにされていない。そこで、本研究では肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいて教師データの質と精度との関係を定量的に評価し、教師データの質の重要性を明らかにする。その際、教師データの質を自動で改善する手法を開発すると共に教師データ作成における医師の負担を低減する支援ソフトウェアも開発する。

Outline of Annual Research Achievements

Deep Learningを用いたAI開発においては、教師データの質と量が重要となる。そこで、本研究では肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいて教師データの質と精度の関係を定量的に評価し、教師データの質の重要性を明らかにする。
当該年度は、前年度に開発したアノテーションが不十分な教師データから正確なアノテーションを行う手法を基に正確なアノテーションを行った教師データとそこから人工的にアノテーションの質を悪くした教師データを作成し、肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいて教師データの質と精度の関係を定量的に評価した。特に、当該年度は、肝腫瘤検出AI開発における肝腫瘤正解領域、肝腫瘤分類AI開発における肝腫瘤を含む関心領域、それぞれの場合におけるアノテーション領域設定の重要性に関して評価を行った。
その結果、肝腫瘤検出AIに関しては、約8千枚のデータを用いて検証したところ、肝血管腫、肝細胞癌、転移性肝癌では正解領域サイズに対して肝腫瘤最大直径が0.9倍となるように正解領域を設定したときが最も検出精度が高くなり、肝嚢胞に関しては0.8-1.0倍としたときが最も検出精度が高くなることが分かった。
また、肝腫瘤分類AIに関しては、約1.2万枚のデータを用いて検証したところ、肝嚢胞、肝血管腫では関心領域サイズに対して肝腫瘤最大直径が0.6倍となるように教師データを作成したとき、肝細胞癌では0.4倍としたとき、転移性肝癌では0.4-0.5倍としたときにそれぞれの肝腫瘤タイプの分類精度が最も高くなることが分かった。
すなわち、肝腫瘤検出AIでは教師データとして腫瘤内部と腫瘤境界付近の情報のみで十分であるのに対し、肝腫瘤分類AI、特に肝細胞癌や転移性肝癌の分類においては教師データとして肝腫瘤周囲の肝実質部の情報も重要であることが明らかとなった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当該年度から次年度にかけて実施予定の「肝腫瘤の検出および分類を行う超音波画像診断支援AIにおける教師データの質と精度との関係を定量的に評価」、および「肝腫瘤超音波におけるアノテーション支援ソフトウェアの開発」に関しておおむね順調に進展している。まず、肝腫瘤の検出および分類を行う超音波画像診断支援AIにおける教師データの質と精度との関係を定量的に評価する研究に関しては、最も時間のかかる正確なアノテーション作業を前年度に開発したアノテーションが不十分な教師データから正確なアノテーションを行う手法を用いることで当初予定よりは時間がかかったものの検証に十分な量の教師データを用意することができた。そのため、次年度に関してはアノテーションの質にバラツキがある場合の評価を行うのみとなっている。また、肝腫瘤超音波におけるアノテーション支援ソフトウェアの開発に関しては、若干開発が遅れてはいるがGUIの部分はおおむね完成しており、今後はGUIの使いやすさの改善や肝腫瘤自動検出の精度を高める研究を行うことで研究期間中に開発できる予定である。

Strategy for Future Research Activity

今後の研究としては、まず肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいてアノテーションの質にバラツキがある場合の教師データの質と精度との関係を定量的に評価する。すなわち、正確なアノテーションが行われた教師データを基に人工的にアノテーションの質にバラツキがある教師データを作成し、バラツキの程度を変えて複数の条件で学習・検証を行い、教師データの質と精度の関係を定量的に評価する。この評価ではさまざまな質での教師データを用いて学習を行うため、これらの処理を行うのに非常に時間がかかる。そこで、限られた計算資源を有効活用するために当該年度に作成した正確なアノテーションのデータを用いて次年度当初から逐次的に処理を行う。また、肝腫瘤の検出および分類を行う超音波画像診断支援AIにおける教師データの質と精度との関係が明らかになったら、その知見を基にデータ収集時における最低限必要なアノテーションの質について評価を行う。
さらに、今後のデータ収集の効率化のためにアノテーションの行われていない肝腫瘤超音波画像からも簡単にアノテーションが行えるアノテーション支援ソフトウェアを開発し、新規データに対するアノテーション作業の負担低減を目指す。なお、開発するアノテーション支援ソフトウェアでは、まず肝腫瘤検出AIで肝腫瘤候補をバウンディングボックスで提示し、医師は検出されたバウンディングボックスが正しければOKボタンを押すのみでアノテーション終了、もし修正が必要であれば手動で修正する流れとし、アノテーション作業の負担を低減しつつ最終的な決定は医師が行うことでアノテーションの質は担保されるようなソフトウェアを開発する。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (8 results)

All 2024 2023 2022

All Journal Article (3 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (5 results) (of which Invited: 4 results)

  • [Journal Article] 肝腫瘤超音波画像診断支援AI開発のための最適な教師データ作成に関する基礎的検討2024

    • Author(s)
      山川誠
    • Journal Title

      超音波TECHNO

      Volume: 36 Pages: 24-28

    • Related Report
      2023 Research-status Report
  • [Journal Article] A study on the optimal condition of ground truth area for liver tumor detection in ultrasound images using deep learning2023

    • Author(s)
      Tosaki Taisei、Yamakawa Makoto、Shiina Tsuyoshi
    • Journal Title

      Journal of Medical Ultrasonics

      Volume: 50 Issue: 2 Pages: 167-176

    • DOI

      10.1007/s10396-023-01301-2

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 超音波画像データベース構築と肝腫瘤・乳腺腫瘤鑑別AI開発2023

    • Author(s)
      山川誠
    • Journal Title

      超音波TECHNO

      Volume: 35 Pages: 1-5

    • Related Report
      2022 Research-status Report
  • [Presentation] 超音波画像による肝腫瘤診断支援AI開発2023

    • Author(s)
      山川誠
    • Organizer
      日本超音波医学会第96回学術集会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] AMED事業における乳腺腫瘤の超音波診断支援AI開発2023

    • Author(s)
      山川誠
    • Organizer
      日本超音波医学会第96回学術集会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] AMED事業によるJSUM超音波画像データベース構築とAI開発2022

    • Author(s)
      山川誠
    • Organizer
      日本超音波医学会第95回学術集会
    • Related Report
      2022 Research-status Report
    • Invited
  • [Presentation] 乳腺腫瘤超音波画像診断支援AI開発における最適な教師データ作成条件の基礎的検討2022

    • Author(s)
      山川誠, 神田美穂, 大島萌, 浪田健, 椎名毅
    • Organizer
      電子情報通信学会2022年度第5回超音波研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 超音波画像を用いた肝腫瘤鑑別診断AIについての基礎検討2022

    • Author(s)
      山川誠
    • Organizer
      日本超音波医学会第34回関東甲信越地方学術集会
    • Related Report
      2022 Research-status Report
    • Invited

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi