消化管内視鏡画像解析の客観的指標に基づくリアルタイム診断支援システムの開発

2021 年度 実績報告書

• 研究課題/領域番号: 20H04157
• 研究機関: 広島大学
• 研究代表者: 小出 哲士 広島大学, ナノデバイス・バイオ融合科学研究所, 准教授 (30243596)
• 研究分担者: 田中 信治 広島大学, 病院(医), 教授 (00260670) ; 玉木 徹 名古屋工業大学, 工学(系)研究科(研究院), 教授 (10333494)
• 研究期間 (年度): 2020-04-01 – 2023-03-31
• キーワード: 計算機システム / 画像認識 / 内視鏡診断支援 / 医用応用のための画像診断システム / ハード・ソフト協調設計 / 機械学習 / 深層学習 / 転移学習

研究実績の概要

消化管内視鏡検査は広く多くの医師により施行されているが，その診断は感性や経験に左右されることがある。コンピュータ診断支援CADは医用画像に対してコンピュータ解析された定量的評価結果を「Second Opinion」として利用するものである。CADは定量的な数値や処理画像を医師に提示することによって、病変の客観的判断を可能にし、診断の正確度向上が期待できる。本年度は以下の４つについて研究を推進した。
(1)消化管画像強調観察内視鏡画像解析による客観的指標の構築：大腸NBI拡大内視鏡にて，腫瘍性病変および非腫瘍性病変の撮影、静止画像・動画像の保存を行い、病理組織診断を反映するコンピュータ診断に適したJNET分類とNICE分類に基づいた診断基準を設定するための臨床データの集積を行った。
(2)画像診断支援のための深層学習を用いた識別器の開発：最新の内視鏡による学習用内視鏡画像5681枚を集積し、一般画像認識データImageNetで学習済みのInception v3を用いて再学習を行うことで，拡大画像と比較大画像に対するJNET分類とNICE分類の両方の識別に対応する識別器を開発した。
(3)全画面識別のための病変抽出手法の開発：大腸NBI内視鏡動画像の各フレームの全画面の領域から、病変の部分のみを抽出するための、Fully Convolutional Networkを用いた病変部位のセグメンテーション手法を開発した。
(4)内視鏡動画像診断支援のためのデータベースの構築：臨床データから病変部を取り出し、病変部のトリミングを医師が容易にできる深層学習のための学習データ作成ソフトウェアを開発し、動画像の全画面識別用のためのデータの拡充を行った。

現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

2021年度においても、大腸NBI拡大内視鏡にて同一条件で大腸腫瘍性病変・非腫瘍性病変の撮影および静止画像と動画像の集積を行い、この静止画像・動画像を元に内視鏡専門医が病理組織診断を反映する最も悪性度の高い領域の抽出、及び、コンピュータ診断に適した診断基準に基づくデータベース化を実施し、学習用静止画像5481枚を集積した。
動画像は静止画像と異なり、画像中に色ずれやボケが存在するだけでなく、内視鏡スコープや被写体が動くため、撮影される画像の倍率が一定でない問題点がある。更に、内視鏡の開発は現在も進んでおり新たな機種が開発されていることから、機種間で病変の見え方が若干異なってしまう。そのため機種ごとにデータベースを作成することは診断支援システムの一般化において問題となる。
そこで、動画像撮影時に、同じ病変の静止画像を拡大率や向きを変えて複数枚とることで、データの拡充を行った。また、深層学習による複数のネットワークモデルを用いて、それらを組み合わせた新しい識別手法を開発し、これまで作成したデータベースを再利用することにより、動画像の識別に向けたの基盤技術の開発を行った。そして開発した新しい識別器を用いて、国内で統一された分類であるJNET分類に対応したType 1, Type 2A, Type 2B, Type 3と非拡大内視鏡の所見分類であるNICE分類に対応したType 1, Type 2, Type 3の両方に対して、高値になるような定量的な客観的指標を医師に提示する画像認識システムの設計に関する基盤技術を開発した。
これらの研究実績は、当初予定していた計画より進んでおり、また、当初予想されなかった実際の内視鏡の動画像の複雑な画像に対する新しい知見と課題を発見することができ、その課題に取り組むことが可能となり、現在、この課題を解決する方法を開発中である。

今後の研究の推進方策

2021年度に開発した大腸NBI拡大内視鏡診断支援システムは、JNET所見分類加えて、欧米などで用いられている大腸NBI非拡大内視鏡の所見分類であるNICE分類に対しても、分類が可能となった。今後は識別器の精度だけでなく、感度、特異度などのその他の評価指標も90%以上の高値を提示できるようにネットワークモデルの改良と最適化を行う。
また、これまでに開発したシステムでは，JNET分類やNICE分類の病変部分以外のバックグラウンドもそれぞれのタイプによる識別されてしまう問題があったため、正常粘膜のデータ新たに追加して学習することにより、病変以外の識別を実現すると共に、全画面の中から病変を含む領域を抽出するセグメンテーション手法を開発する。
更に、広島大学病院・JR広島病院から提供されているJNET・NICE分類の所見分類が行われている、内視鏡の静止画像・動画像を用いて、病変領域を抽出し、その領域に対して、開発している識別器による病変の進行度の判定を行うことができるように識別アルゴリズムの開発を行い、大腸NBI非拡大・拡大内視鏡画像の動画像への拡張を検討する。
そして、リアルタイム処理システムの実現化に関しては、内視鏡画像の拡大・非拡大の動画像に対して、病変を広範囲で識別するために、動画像の処理が可能なシステムの実現に向けて研究を推進する。このシステム開発には、ソフトウェアとハードウェアの協調設計が重要な鍵となるため、計算の複雑度や並列度に合わせた手法を開発し、病変の広範囲の識別を可能とする識別器の高速実行が可能なシステムを開発し、内視鏡画像診断支援の更なる性能向上を図る。

研究成果

• [雑誌論文] Classification with CNN features and SVM on Embedded DSP Core for Colorectal Magnified NBI Endoscopic Video Image (2022)
  • 著者名/発表者名: Masayuki Odagawa, Takumi Okamoto, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
  • 雑誌名: IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 巻: E105-A ページ: 25-34
  • DOI: 10.1587/transfun.2021EAP1036
  • 査読あり
• [雑誌論文] Feasibility Study for Computer-Aided Diagnosis System with Navigation Function of Clear Region for Real-Time Endoscopic Video Image on Customizable Embedded DSP Cores (2022)
  • 著者名/発表者名: Masayuki Odagawa, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
  • 雑誌名: IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 巻: E105-A ページ: 58-62
  • DOI: 10.1587/transfun.2021EAL2044
  • 査読あり
• [雑誌論文] Development of multi-class computer-aided diagnostic systems using the NICE/JNET classifications for colorectal lesions (2022)
  • 著者名/発表者名: Yuki Okamoto, Shigeto Yoshida, Seiji Izakura, Daisuke Katayama, Ryuichi Michida, Tetsushi Koide, Toru Tamaki, Yuki Kamigaichi, Hirosato Tamari, Yasutsugu Shimohara, Tomoyuki Nishimura, Katsuaki Inagaki, Hidenori Tanaka, Ken Yamashita, Kyoku Sumimoto, Shiro Oka, Shinji Tanaka
  • 雑誌名: Journal of Gastroenterology and Hepatology 巻: 37 ページ: 104-110
  • DOI: 10.1111/jgh.15682
  • 査読あり / オープンアクセス
• [雑誌論文] A Hardware Implementation on Customizable Embedded DSP Core for Colorectal Tumor Classification with Endoscopic Video toward Real-Time Computer-Aided Diagnosis System (2021)
  • 著者名/発表者名: Masayuki Odagawa, Takumi Okamoto, Tetsushi Koide, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka, Takayuki Sugawara, Hiroshi Toishi, Masayuki Tsuji, Nobuo Tamba
  • 雑誌名: IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 巻: E104-A ページ: 691-701
  • DOI: 10.1587/transfun.2020EAP1069
  • 査読あり / オープンアクセス
• [学会発表] A Lesion Classification Method Using Deep Learning Based on NICE Classification for Computer-Aided Diagnosis System in Colorectal NBI Endoscopy (2021)
  • 著者名/発表者名: Daisuke Katayama, Ryuichi Michida, Seiji Izakura, Yongfei Wu, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Hiroshi Mieno, Yuki Okamoto, Shinji Tanaka
  • 学会等名: The 36th International Technical Conference on Circuits/Systems, Computers, and Communications 2021(ITC-CSCC2021)
  • 国際学会
• [学会発表] A Lesion Classification Method Using Deep Learning Based on JNET Classification for Computer-Aided Diagnosis System in Colorectal Magnified NBI Endoscopy, (2021)
  • 著者名/発表者名: Ryuichi Michida, Daisuke Katayama, Seiji Izakura, Yongfei Wu, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Hiroshi Mieno, Yuki Okamoto, Shinji Tanaka
  • 学会等名: The 36th International Technical Conference on Circuits/Systems, Computers, and Communications 2021(ITC-CSCC2021)
  • 国際学会
• [学会発表] Floating-point arithmetic of content addressable memory-based massive-parallel SIMD matrix core (2021)
  • 著者名/発表者名: Kyosuke Kageyama, Akimitsu Hamai, Kensuke Watanabe, Tetsushi Koide, Takeshi Kumaki
  • 学会等名: RISP International workshop on Nonlinear Circuit, computer and Signal Processing (NCSP2021)
  • 国際学会
• [学会発表] Development of multi-class computer-aided diagnosis support system for diagnosis of NICE/JNET classification in colorectal lesions (2021)
  • 著者名/発表者名: Yuki Okamoto, Shigeto Yoshida, Seiji Izakura, Daisuke Katayama, Ryuichi Michida, Tetsushi Koide, Toru Tamaki, Yuki Kamigaichi, Hirosato Tamari, Yasutsugu Shimohara, Tomoyuki Nishimura, Katsuaki Inagaki, Hidenori Tanaka, Ken Yamashita, Kyoku Sumimoto, Yuki Ninomiya1, Shiro Oka, Shinji Tanaka
  • 学会等名: UEG Week - United European Gastroenterology
  • 国際学会
• [学会発表] Multiplication of Baugh-Wooley arithmetic processing by content addressable memory-based massive-parallel SIMD matrix core (2021)
  • 著者名/発表者名: Kageyama Kyosuke, Arai Sota, Hamano Hajime, Hamai Akimitsu, Kong Xiangbo, Koide Tetsushi, Kumaki Takeshi
  • 学会等名: The 6th International Symposium on Biomedical Engineering
  • 国際学会
• [学会発表] A Denoising Autoencoder on Anormaly Detection via Cutmix for Computer-Aided Diagnosis System in Colorectal NBI Endoscopy (2021)
  • 著者名/発表者名: Yongfei Wu, Daisuke Katayama, Ryuichi Michida, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Yuki Okamoto, Oka Shiro, Shinji Tanaka, Masayuki Odagawa, Toshihiko Sugihara
  • 学会等名: The 6th International Symposium on Biomedical Engineering
  • 国際学会
• [学会発表] A Lesion Classification Method UsiDeep Learning for Computer-Aided Diagnosis System in Colorectal NBI Endoscopy (2021)
  • 著者名/発表者名: Daisuke Katayama, Yongfei Wu, Ryuichi Michida, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Yuki Okamoto, Oka Shiro, Shinji Tanaka, Masayuki Odagawa, Toshihiko Sugihara
  • 学会等名: The 6th International Symposium on Biomedical Engineering
  • 国際学会
• [学会発表] 深層学習を用いたJNET分類に基づく大腸内視鏡画像診断支援の一手法 (2021)
  • 著者名/発表者名: 道田 竜一，片山 大輔，井櫻 星二，呉 泳飛，小出 哲士，玉木 徹，吉田 成人，三重 野寛，岡本 由貴，田中 信治
  • 学会等名: 第27回画像センシングシンポジウム(SSII2021)
• [学会発表] 深層学習を用いたNICE分類に基づく大腸内視鏡画像診断支援の一手法 (2021)
  • 著者名/発表者名: 片山 大輔，道田 竜一，井櫻 星二，呉 泳飛，小出 哲士，玉木 徹，吉田 成人，三重 野寛，岡本 由貴，田中 信治
  • 学会等名: 第27回画像センシングシンポジウム(SSII2021)
• [図書] Biomedical Engineering, Chapter 16, A Hierarchical Type Segmentation Hardware for Colorectal Endoscopic Images with Narrow Band Imaging Magnification (2021)
  • 著者名/発表者名: Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Shinji Tanaka
  • 総ページ数: 380
  • 出版者: Jenny Stanford Publishing Pte Ltd.
  • ISBN: 9814877638
• [備考] 生体医歯工学共同研究拠点
  • URL: http://www.tmd.ac.jp/ibbc/
• [備考] 広島大学ナノデバイス研究所
  • URL: https://www.rnbs.hiroshima-u.ac.jp/
• [備考] Google Scholar: Tetsushi Koide
  • URL: https://bit.ly/3uzRnPZ
• [備考] ResearchGate: Tetsushi Koide
  • URL: https://www.researchgate.net/profile/Tetsushi-Koide