2022 Fiscal Year Research-status Report

Evaluation of the importance of training data quality in AI for liver tumor ultrasound diagnosis

Research Project

Project/Area Number	22K12863
Research Institution	Shibaura Institute of Technology
Principal Investigator	山川誠芝浦工業大学, SIT総合研究所, 准教授 (60344876)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	超音波 / AI / Deep Learning / 肝腫瘤 / アノテーション
Outline of Annual Research Achievements	Deep Learningを用いたAI開発においては、教師データの質と量が重要である。そこで、本研究では肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいて教師データの質と精度の関係を定量的に評価し、教師データの質の重要性を明らかにする。当該年度は、その最初の段階として、アノテーションが不十分な教師データから自動で正確なアノテーションを行う手法の開発に取り組んだ。本研究で使用している肝腫瘤超音波画像データはアノテーションの精度にバラツキがあるが、基本的にはアノテーションが行われている領域には１つの肝腫瘤が含まれている。そのため、検出の際の分解能を優先させ、Deep Learning手法としてはYOLOv4を用い、学習用のデータとしては申請者が手動で正確なアノテーションを行った約7000枚のデータを用いた。その結果、肝嚢胞に関しては比較的精度良く検出できたが、肝血管腫、肝細胞癌、転移性肝癌に関しては検出結果をそのまま正確なアノテーションとして用いるには不十分であった。そこで、Deep Learningの検出結果を初期値として動的輪郭（snakes）法を用いた肝腫瘤領域抽出を試みた。その結果、多くの画像では検出結果が改善した。ただし、ヒトが見ても腫瘍輪郭がわからないような画像においてはやはり正確な検出は難しいことが分かった。そのため、本研究ではDeep Learningおよびsnakes法による検出結果に対して最終的にヒトによる確認をし、必要であれば修正を行い正確なアノテーションを行った。また、今回正確なアノテーションを行ったデータに対して、元のアノテーション（教師データ）の質を定量的に評価した。その結果、アノテーション領域の大きさに対する誤差としては約10%、位置ずれ誤差としては約5%の誤差が含まれていたことが確認された。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当該年度に研究実施予定であった肝腫瘤超音波画像データにおけるアノテーションが不十分な教師データから自動で正確なアノテーションを行う手法の開発、および元の教師データのアノテーションの質の定量評価に関して一通り予定通りに実施できた。ただし、当初、自動で正確なアノテーションを行う手法の開発を目指してはいたが、全ての画像に対して完全自動で正確なアノテーションを行うことは難しいことがわかり半自動でのアノテーションに計画変更を行った。そのため、アノテーションに時間はかかるもののヒトによるチェックが入っているため、アノテーションの質を担保することができるというメリットがある。
Strategy for Future Research Activity	今後の研究としては、まず肝腫瘤の検出および分類を行う超音波画像診断支援AIにおける教師データの質と精度との関係を定量評価する。正確なアノテーションが行われた教師データと元のアノテーションが不十分な教師データ、さらには人工的にアノテーションの質が異なる教師データを作成し、教師データの質と精度との関係を定量的に評価する。なお、この評価ではさまざまな質の教師データ条件にて学習を行うため、計算に非常に時間がかかる。よって、新規に高性能なグラフィックボードを追加し、計算スピードを増強させる。また、肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいける教師データの質と精度との関係が明らかになったら、その知見を基にデータ収集時における最低限必要なアノテーションの質について評価する。さらに、今後のデータ収集のためにアノテーションの全く行われていない肝腫瘤超音波画像からも簡単にアノテーションが行えるようなアノテーション支援ソフトウェアを開発し、新規データ収集・教師データ作成の際の医師の負担低減を目指す。なお、開発するアノテーション支援ソフトウェアでは、肝腫瘤の位置と大きさの候補をバウンディングボックスにより提示し、医師がその中から対象となる腫瘤のものを選び、必要であればバウンディングボックスを手動で修正できるようにし、正確なアノテーションを簡単に行えるようなソフトウェアを開発する。
Causes of Carryover	当該年度に購入を予定していた物品の在庫がなかったため次年度使用額が生じた。そのため、次年度に購入予定物品が入荷次第購入する計画である。