2020 Fiscal Year Research-status Report
Development of "cardiac function analysis system from echocardiogram" based on deep learning
| Project/Area Number |
20K11953
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
呉 海元 和歌山大学, データ・インテリジェンス教育研究部門, 教授 (70283695)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
穂積 健之 和歌山県立医科大学, 医学部, 准教授 (30343411)
吉野 孝 和歌山大学, システム工学部, 教授 (90274860)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 心エコー動画 / 深層学習 / 左室壁の6分画化 / 左室内腔抽出 / 医工連携 |
|---|
| Outline of Annual Research Achievements |
心エコー動画からの心機能解析・評価支援システムを構築するために，実時間で動作できる，インスタンスセグメンテーションモデルの深層学習アルゴリズム（YOLACT）に基づいた二腔断面の心エコー動画から左室壁の６分画化と左室内腔の抽出方法を提案している．電子メールとZoom，Teamsを活用しながら，心エコー専門医（研究分担者の穂積医師）の指導の下で5人分，計10心周期のすべてフレームに対してアノテーションを行った。中の4人分は学習・検証データセットとして，YOLACTに基づいた左室壁の6分画化モデルと，左室内腔抽出化モデルをそれぞれトレーニングと検証を行った．また，未学習の1人分のデータに対してテストを行った．得られた中間研究成果は穂積医師と連名で2021年3月4日の電子情報通信学会パターン認識・メディア理解研究会（PRMU）に発表した．
また，精度を追求できる，深層学習アルゴリズム（YOLACT++）に基づいた循環器OCT画像からの中膜領域・血管内腔・ガイドワイヤの影を検出するアルゴリズムも同時に研究開発し，得られた研究成果は和歌山県立医科大学の久保医師と連名で2021年3月4日の電子情報通信学会パターン認識・メディア理解研究会（PRMU）に発表した．
その他，カラー画像から人物・物体を表現する特徴量の記述方法SHAL(Shoulders and HeAd Learning)と，OiF(Object identification Feature)をそれぞれ提案した．そして，無彩色画素の割合を重みとしたバタチャリヤ距離による特徴量間の照合によって人物・物体を識別する方法も提案した．こちらの研究成果は映像情報メディア学会論文誌，画像ラボ（解説），国際会議（IEEE ICMA）に発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究分担者の穂積医師が収集した心エコーの動画に対して，国際基準(2015)に基づいて，心尖部３断面のひとつである二腔断面における左室壁の６分画化，および左室内腔領域に自動的に分割するアルゴリズムを研究開発している．5人分の心エコー動画から10心周期のフレーム，合計281枚の画像のアノテーションを行い，データセットとして使用している．深層学習アルゴリズム（YOLACT）に基づいて，4人分の心エコー動画(228枚)のうち，208枚をトレーニングセットとし，残りの20枚を検証(Validation)セットとしたモデル訓練を行った．
左室壁の６分画の結果は，最終BoxのmAPが63.84％であり，MaskのmAPが47.92％であることを示している．IoU閾値が70％未満の場合、BoxとMaskの両方の平均適合率(AP)が50%を超えたままであることがわかる．左室内腔の結果は、最終BoxのmAPが90.26％であり，MaskのmAPが89.86％であることを示している．IoU閾値が90％未満の場合，BoxとMaskの両方の平均適合率(AP)が100%のままであることがわかる．
構築されたYOLACTモデルに対して，残りの1人分の心エコー動画（53枚）は未学習データとして，テストも行った．
提案モデルを用いて，左室内腔領域の抽出と，左室壁の６分画化が可能であることを確認できた．しかし，学習データセット数が少なったので、精度の問題が残っている。
|
| Strategy for Future Research Activity |
2年目，まず，二腔断面(Two chamber)の学習データをさらに追加しながら，各領域自動分割における深層学習モデルの改良とパラメータの最適化を検討し続ける予定である．また，心周期におけるフレーム間の変化量も検出・推定・可視化できる方法を導入する．
その上，四腔断面 (Four chamber) ，長軸断面(Long axis)の学習データセットを構築開始し，各領域自動分割における深層学習モデルを研究開発する．
さらに，領域分割と追跡結果に基づいて，1(正常)から3(無収縮)までのスコア(1から3までの連続値)を採点できる心機能の自動評価アルゴリズムを研究開発し，ビデオレートで動作できる判読支援システムを構築する．
|
| Causes of Carryover |
理由：(1) 当初購入予定の部品は生産中止で，今後心エコー動画を解析できる深層学習アルゴリズムを研究開発し，それに合わせた仕様・規格を再検討する必要が生じたため; (2) 新型コロナの影響で，国際会議や国内会議は全部オンラインで開催され，旅費の支出がなくなったため
使用計画：ビデオレートで検出・追跡・判定処理を行えるコンピュータとグラフィックスカードを購入する費用と，研究成果の対外発表費用に使用予定である．
|
| Remarks |
和歌山大学システム工学研究科呉ホームページ：http://web.wakayama-u.ac.jp/~wuhy/
Google Scholar：https://scholar.google.com/citations?hl=en&user=Gs_jKYkAAAAJ&view_op=list_works&sortby=pubdate
|
