2023 Fiscal Year Research-status Report

Evaluation of the importance of training data quality in AI for liver tumor ultrasound diagnosis

Research Project

Project/Area Number	22K12863
Research Institution	Shibaura Institute of Technology
Principal Investigator	山川誠芝浦工業大学, SIT総合研究所, 准教授 (60344876)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	超音波 / AI / Deep Learning / 肝腫瘤 / アノテーション
Outline of Annual Research Achievements	Deep Learningを用いたAI開発においては、教師データの質と量が重要となる。そこで、本研究では肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいて教師データの質と精度の関係を定量的に評価し、教師データの質の重要性を明らかにする。当該年度は、前年度に開発したアノテーションが不十分な教師データから正確なアノテーションを行う手法を基に正確なアノテーションを行った教師データとそこから人工的にアノテーションの質を悪くした教師データを作成し、肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいて教師データの質と精度の関係を定量的に評価した。特に、当該年度は、肝腫瘤検出AI開発における肝腫瘤正解領域、肝腫瘤分類AI開発における肝腫瘤を含む関心領域、それぞれの場合におけるアノテーション領域設定の重要性に関して評価を行った。その結果、肝腫瘤検出AIに関しては、約8千枚のデータを用いて検証したところ、肝血管腫、肝細胞癌、転移性肝癌では正解領域サイズに対して肝腫瘤最大直径が0.9倍となるように正解領域を設定したときが最も検出精度が高くなり、肝嚢胞に関しては0.8-1.0倍としたときが最も検出精度が高くなることが分かった。また、肝腫瘤分類AIに関しては、約1.2万枚のデータを用いて検証したところ、肝嚢胞、肝血管腫では関心領域サイズに対して肝腫瘤最大直径が0.6倍となるように教師データを作成したとき、肝細胞癌では0.4倍としたとき、転移性肝癌では0.4-0.5倍としたときにそれぞれの肝腫瘤タイプの分類精度が最も高くなることが分かった。すなわち、肝腫瘤検出AIでは教師データとして腫瘤内部と腫瘤境界付近の情報のみで十分であるのに対し、肝腫瘤分類AI、特に肝細胞癌や転移性肝癌の分類においては教師データとして肝腫瘤周囲の肝実質部の情報も重要であることが明らかとなった。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当該年度から次年度にかけて実施予定の「肝腫瘤の検出および分類を行う超音波画像診断支援AIにおける教師データの質と精度との関係を定量的に評価」、および「肝腫瘤超音波におけるアノテーション支援ソフトウェアの開発」に関しておおむね順調に進展している。まず、肝腫瘤の検出および分類を行う超音波画像診断支援AIにおける教師データの質と精度との関係を定量的に評価する研究に関しては、最も時間のかかる正確なアノテーション作業を前年度に開発したアノテーションが不十分な教師データから正確なアノテーションを行う手法を用いることで当初予定よりは時間がかかったものの検証に十分な量の教師データを用意することができた。そのため、次年度に関してはアノテーションの質にバラツキがある場合の評価を行うのみとなっている。また、肝腫瘤超音波におけるアノテーション支援ソフトウェアの開発に関しては、若干開発が遅れてはいるがGUIの部分はおおむね完成しており、今後はGUIの使いやすさの改善や肝腫瘤自動検出の精度を高める研究を行うことで研究期間中に開発できる予定である。
Strategy for Future Research Activity	今後の研究としては、まず肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいてアノテーションの質にバラツキがある場合の教師データの質と精度との関係を定量的に評価する。すなわち、正確なアノテーションが行われた教師データを基に人工的にアノテーションの質にバラツキがある教師データを作成し、バラツキの程度を変えて複数の条件で学習・検証を行い、教師データの質と精度の関係を定量的に評価する。この評価ではさまざまな質での教師データを用いて学習を行うため、これらの処理を行うのに非常に時間がかかる。そこで、限られた計算資源を有効活用するために当該年度に作成した正確なアノテーションのデータを用いて次年度当初から逐次的に処理を行う。また、肝腫瘤の検出および分類を行う超音波画像診断支援AIにおける教師データの質と精度との関係が明らかになったら、その知見を基にデータ収集時における最低限必要なアノテーションの質について評価を行う。さらに、今後のデータ収集の効率化のためにアノテーションの行われていない肝腫瘤超音波画像からも簡単にアノテーションが行えるアノテーション支援ソフトウェアを開発し、新規データに対するアノテーション作業の負担低減を目指す。なお、開発するアノテーション支援ソフトウェアでは、まず肝腫瘤検出AIで肝腫瘤候補をバウンディングボックスで提示し、医師は検出されたバウンディングボックスが正しければOKボタンを押すのみでアノテーション終了、もし修正が必要であれば手動で修正する流れとし、アノテーション作業の負担を低減しつつ最終的な決定は医師が行うことでアノテーションの質は担保されるようなソフトウェアを開発する。