2021 Fiscal Year Annual Research Report
Development of a Real-Time Computer-Aided Diagnosis System Based on Objective Indicators for Gastrointestinal Endoscopic Image Analysis
| Project/Area Number |
20H04157
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
小出 哲士 広島大学, ナノデバイス・バイオ融合科学研究所, 准教授 (30243596)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 信治 広島大学, 病院(医), 教授 (00260670)
玉木 徹 名古屋工業大学, 工学(系)研究科(研究院), 教授 (10333494)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 計算機システム / 画像認識 / 内視鏡診断支援 / 医用応用のための画像診断システム / ハード・ソフト協調設計 / 機械学習 / 深層学習 / 転移学習 |
|---|
| Outline of Annual Research Achievements |
消化管内視鏡検査は広く多くの医師により施行されているが，その診断は感性や経験に左右されることがある。コンピュータ診断支援CADは医用画像に対してコンピュータ解析された定量的評価結果を「Second Opinion」として利用するものである。CADは定量的な数値や処理画像を医師に提示することによって、病変の客観的判断を可能にし、診断の正確度向上が期待できる。本年度は以下の４つについて研究を推進した。
(1)消化管画像強調観察内視鏡画像解析による客観的指標の構築：大腸NBI拡大内視鏡にて，腫瘍性病変および非腫瘍性病変の撮影、静止画像・動画像の保存を行い、病理組織診断を反映するコンピュータ診断に適したJNET分類とNICE分類に基づいた診断基準を設定するための臨床データの集積を行った。
(2)画像診断支援のための深層学習を用いた識別器の開発：最新の内視鏡による学習用内視鏡画像5681枚を集積し、一般画像認識データImageNetで学習済みのInception v3を用いて再学習を行うことで，拡大画像と比較大画像に対するJNET分類とNICE分類の両方の識別に対応する識別器を開発した。
(3)全画面識別のための病変抽出手法の開発：大腸NBI内視鏡動画像の各フレームの全画面の領域から、病変の部分のみを抽出するための、Fully Convolutional Networkを用いた病変部位のセグメンテーション手法を開発した。
(4)内視鏡動画像診断支援のためのデータベースの構築：臨床データから病変部を取り出し、病変部のトリミングを医師が容易にできる深層学習のための学習データ作成ソフトウェアを開発し、動画像の全画面識別用のためのデータの拡充を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
2021年度においても、大腸NBI拡大内視鏡にて同一条件で大腸腫瘍性病変・非腫瘍性病変の撮影および静止画像と動画像の集積を行い、この静止画像・動画像を元に内視鏡専門医が病理組織診断を反映する最も悪性度の高い領域の抽出、及び、コンピュータ診断に適した診断基準に基づくデータベース化を実施し、学習用静止画像5481枚を集積した。
動画像は静止画像と異なり、画像中に色ずれやボケが存在するだけでなく、内視鏡スコープや被写体が動くため、撮影される画像の倍率が一定でない問題点がある。更に、内視鏡の開発は現在も進んでおり新たな機種が開発されていることから、機種間で病変の見え方が若干異なってしまう。そのため機種ごとにデータベースを作成することは診断支援システムの一般化において問題となる。
そこで、動画像撮影時に、同じ病変の静止画像を拡大率や向きを変えて複数枚とることで、データの拡充を行った。また、深層学習による複数のネットワークモデルを用いて、それらを組み合わせた新しい識別手法を開発し、これまで作成したデータベースを再利用することにより、動画像の識別に向けたの基盤技術の開発を行った。そして開発した新しい識別器を用いて、国内で統一された分類であるJNET分類に対応したType 1, Type 2A, Type 2B, Type 3と非拡大内視鏡の所見分類であるNICE分類に対応したType 1, Type 2, Type 3の両方に対して、高値になるような定量的な客観的指標を医師に提示する画像認識システムの設計に関する基盤技術を開発した。
これらの研究実績は、当初予定していた計画より進んでおり、また、当初予想されなかった実際の内視鏡の動画像の複雑な画像に対する新しい知見と課題を発見することができ、その課題に取り組むことが可能となり、現在、この課題を解決する方法を開発中である。
|
| Strategy for Future Research Activity |
2021年度に開発した大腸NBI拡大内視鏡診断支援システムは、JNET所見分類加えて、欧米などで用いられている大腸NBI非拡大内視鏡の所見分類であるNICE分類に対しても、分類が可能となった。今後は識別器の精度だけでなく、感度、特異度などのその他の評価指標も90%以上の高値を提示できるようにネットワークモデルの改良と最適化を行う。
また、これまでに開発したシステムでは，JNET分類やNICE分類の病変部分以外のバックグラウンドもそれぞれのタイプによる識別されてしまう問題があったため、正常粘膜のデータ新たに追加して学習することにより、病変以外の識別を実現すると共に、全画面の中から病変を含む領域を抽出するセグメンテーション手法を開発する。
更に、広島大学病院・JR広島病院から提供されているJNET・NICE分類の所見分類が行われている、内視鏡の静止画像・動画像を用いて、病変領域を抽出し、その領域に対して、開発している識別器による病変の進行度の判定を行うことができるように識別アルゴリズムの開発を行い、大腸NBI非拡大・拡大内視鏡画像の動画像への拡張を検討する。
そして、リアルタイム処理システムの実現化に関しては、内視鏡画像の拡大・非拡大の動画像に対して、病変を広範囲で識別するために、動画像の処理が可能なシステムの実現に向けて研究を推進する。このシステム開発には、ソフトウェアとハードウェアの協調設計が重要な鍵となるため、計算の複雑度や並列度に合わせた手法を開発し、病変の広範囲の識別を可能とする識別器の高速実行が可能なシステムを開発し、内視鏡画像診断支援の更なる性能向上を図る。
|
-
-
-
[Journal Article] Development of multi-class computer-aided diagnostic systems using the NICE/JNET classifications for colorectal lesions2022
Author(s)
Yuki Okamoto, Shigeto Yoshida, Seiji Izakura, Daisuke Katayama, Ryuichi Michida, Tetsushi Koide, Toru Tamaki, Yuki Kamigaichi, Hirosato Tamari, Yasutsugu Shimohara, Tomoyuki Nishimura, Katsuaki Inagaki, Hidenori Tanaka, Ken Yamashita, Kyoku Sumimoto, Shiro Oka, Shinji Tanaka
-
Journal Title
Journal of Gastroenterology and Hepatology
Volume: 37
Pages: 104-110
DOI
Peer Reviewed / Open Access
-
[Journal Article] A Hardware Implementation on Customizable Embedded DSP Core for Colorectal Tumor Classification with Endoscopic Video toward Real-Time Computer-Aided Diagnosis System2021
Author(s)
Masayuki Odagawa, Takumi Okamoto, Tetsushi Koide, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka, Takayuki Sugawara, Hiroshi Toishi, Masayuki Tsuji, Nobuo Tamba
-
Journal Title
IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences
Volume: E104-A
Pages: 691-701
DOI
Peer Reviewed / Open Access
-
[Presentation] A Lesion Classification Method Using Deep Learning Based on NICE Classification for Computer-Aided Diagnosis System in Colorectal NBI Endoscopy2021
Author(s)
Daisuke Katayama, Ryuichi Michida, Seiji Izakura, Yongfei Wu, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Hiroshi Mieno, Yuki Okamoto, Shinji Tanaka
Organizer
The 36th International Technical Conference on Circuits/Systems, Computers, and Communications 2021(ITC-CSCC2021)
Int'l Joint Research
-
[Presentation] A Lesion Classification Method Using Deep Learning Based on JNET Classification for Computer-Aided Diagnosis System in Colorectal Magnified NBI Endoscopy,2021
Author(s)
Ryuichi Michida, Daisuke Katayama, Seiji Izakura, Yongfei Wu, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Hiroshi Mieno, Yuki Okamoto, Shinji Tanaka
Organizer
The 36th International Technical Conference on Circuits/Systems, Computers, and Communications 2021(ITC-CSCC2021)
Int'l Joint Research
-
-
[Presentation] Development of multi-class computer-aided diagnosis support system for diagnosis of NICE/JNET classification in colorectal lesions2021
Author(s)
Yuki Okamoto, Shigeto Yoshida, Seiji Izakura, Daisuke Katayama, Ryuichi Michida, Tetsushi Koide, Toru Tamaki, Yuki Kamigaichi, Hirosato Tamari, Yasutsugu Shimohara, Tomoyuki Nishimura, Katsuaki Inagaki, Hidenori Tanaka, Ken Yamashita, Kyoku Sumimoto, Yuki Ninomiya1, Shiro Oka, Shinji Tanaka
Organizer
UEG Week - United European Gastroenterology
Int'l Joint Research
-
-
[Presentation] A Denoising Autoencoder on Anormaly Detection via Cutmix for Computer-Aided Diagnosis System in Colorectal NBI Endoscopy2021
Author(s)
Yongfei Wu, Daisuke Katayama, Ryuichi Michida, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Yuki Okamoto, Oka Shiro, Shinji Tanaka, Masayuki Odagawa, Toshihiko Sugihara
Organizer
The 6th International Symposium on Biomedical Engineering
Int'l Joint Research
-
[Presentation] A Lesion Classification Method UsiDeep Learning for Computer-Aided Diagnosis System in Colorectal NBI Endoscopy2021
Author(s)
Daisuke Katayama, Yongfei Wu, Ryuichi Michida, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Yuki Okamoto, Oka Shiro, Shinji Tanaka, Masayuki Odagawa, Toshihiko Sugihara
Organizer
The 6th International Symposium on Biomedical Engineering
Int'l Joint Research
-
-
-
-
-
-
-
