高精度なメラノーマ構造パターン抽出技術に基づく皮膚がん診断支援システムの開発

2021 Fiscal Year Research-status Report

• Project/Area Number: 19K12054
• Research Institution: Fukui University of Technology
• Principal Investigator: 木森 義隆 福井工業大学, 環境情報学部, 教授 (10585277)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: Mathematical morphology / メラノーマ / ニューラルネットワーク

Outline of Annual Research Achievements

本研究では，ダーモスコピー画像におけるメラノーマ構造パターンの自動抽出・可視化手法および病変特徴量の記述手法の開発を実施し，皮膚がんの診断支援システムの構築のための要素技術を開発するものである．これまで，rotational morphological processing(RMP)に基づいた画像処理を用い，(1) 前処理手法およびセグメンテーション手法の開発, (2) 構造パターン抽出手法の開発，(3) 構造パターンの統合的可視化手法の開発，を実施してきた．当該年度は，まず，昨年度からの引き続きのテーマである項目(3)を完了させた．そして，(4) 病変特徴量の記述手法の開発，(5) 機械学習による病変分類手法の開発に取り掛かった．
研究項目(3)は，メラノーマの構造特徴である，輪郭形状，色素ネットワーク，色素小球・小点，色素線条を抽出し，統合的に可視化表現することをめざしたものである．昨年度までは，これらの構造特徴の抽出には，RMPに基づくTop-hat変換を用いていたが，当該年度では，h-dome変換に基づく画像強調フィルタ(Kimori, Biomed. Signal Process. Control., 2020)も導入し，病変認識に対し，より効果的な可視化表現になるように工夫した．
研究項目(4)では，植物細胞の細胞骨格ネットワーク解析のために開発した手法(Kimori et al., J. Theor. Biol., 2016) を用いたフィラメント構造の解析や，pattern spectrumを用いた粒状解析を実施した．
また，昨年度に，追加の研究項目として検討していた，深層学習を用いたセグメンテーション手法の開発を実施した．研究項目(5)の課題を解決するための目途を立てることができた．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

「構造パターンの統合的可視化手法の開発」：メラノーマの構造特徴の抽出には，h-dome変換に基づく画像強調フィルタフィルタを用いた．メラノーマの輪郭やその領域の内部構造の複数の特徴を抽出し，可視化するための技術を完成させた．
「病変特徴量の記述手法の開発」：ネットワークやフィラメント構造の定量的な記述方法として，細胞骨格ネットワーク解析のために開発した手法を採用した．また，メラノーマ領域内の輝度分布を輝度値を高さとした3Dデータと捉え，この3D構造やドットパターンの解析に，pattern spectrumに基づく形態解析手法を適用した．これらの方法によって，これまで，目視で感覚的にとらえられてきた構造特徴を定量的に把握することが可能になった．
昨年度に検討していた深層学習による領域セグメンテーション手法の開発を実施した．大規模なダーモスコープ画像のデータセットである，HAM10000データセット(Tschandl, et al., Sci. Data., 2018)を用いた．このデータセットに対し，U-Netなどの既存のセグメンテーション用ニューラルネットワークモデルを適用したが，背景構造なども抽出し，高精度なセグメンテーション結果が得られなかった．そこで，これまでに開発してきた画像処理を適用して，背景構造などの不要な物体の除去を行った．その処理画像を用いてセグメンテーションを実施したところ，原画像を用いた場合よりもセグメンテーション精度が向上することが判明した．U-Netだけでなく，より複雑なアーキテクチャをもつモデルであるDeepLabv3+を用いた実験でも同様の結果が得られた．現在，この内容を論文としてまとめ，国際誌に投稿中である．
ここまでの研究で，今年度の研究期間が終了したため，残った課題については期間の延長を申請し，次年度に実施することにした．

Strategy for Future Research Activity

今後は，ニューラルネットワークを用いて，研究項目「機械学習による病変分類の実施」を遂行する．推進方策として，(1)病変領域のセグメンテーション，(2)病変パターンの抽出，(3)病変分類の実施，の3段階の研究計画を設定した．
(1)「病変領域のセグメンテーション」オリジナルデータセットとしては，PH2およびHAM10000などのデータセットを使用する．しかし，原画像のままではなく，今年度に開発した手法によって，病変領域をセグメンテーションした画像で再構築したものを用いる．複数のセグメンテーション用ニューラルネットワークを用い，セグメンテーション精度を比較し，最も性能が高いモデルを選択する．
(2)「病変パターンの抽出」セグメンテーションされた病変領域内について，病変に特有の特徴を強調した画像を用いた方が，分類精度の向上につながるのではないかと想定される．そこで，研究項目「構造パターン抽出手法の開発」で用いられた画像強調手法により，メラノーマの各種の構造特徴を抽出し，画像分類のためのデータセットを作成する．ニューラルネットワークモデルの分類性能を向上させるための，最適な構造抽出の方法を検討する．
(3)「病変分類の実施」(2)で作成されたデータセットに対し，これまでに提案されている複数の画像分類用ニューラルネットワークモデルを試行し，最も分類精度が高いモデルを選択する．また，オリジナルデータセットや病変パターンの抽出処理を適用していないデータセットに対しても分類実験を実施し，分類精度を評価することによって，病変領域のセグメンテーションや病変パターン抽出が，ニューラルネットワークの病変認識性能に与える影響について考察する．

Causes of Carryover

学会参加のための旅費が不要であったこともあり未使用額が生じた．
次年度が最終年度であるため，研究成果の公表を積極的に行っていく．使用計画としては，論文の掲載料と，本研究成果の発表のための学会参加に係る旅費等の支出を予定している．