2017 Fiscal Year Annual Research Report
Construction of objective indicators by gastrointestinal endoscopic image analysis and development of general computer-aided diagnosis system
| Project/Area Number |
17H01714
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
小出 哲士 広島大学, ナノデバイス・バイオ融合科学研究所, 准教授 (30243596)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 信治 広島大学, 病院(医), 教授 (00260670)
玉木 徹 広島大学, 工学研究科, 准教授 (10333494)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 計算機システム / 画像認識 / 医用応用のための画像診断システム / ハード・ソフト協調設計 / 集積回路 / 転移学習 / 内視鏡診断支援 / 機械学習・深層学習 |
|---|
| Outline of Annual Research Achievements |
平成29年度は以下の３つを重点的に行った。(A)NBI拡大・非拡大内視鏡画像データ集積と臨床試験によるシステムの高精度化，(B)腫瘍NBI拡大内視鏡画像データベースの再利用を行う転移学習アルゴリズムの開発，(C)NBI非拡大内視鏡画像の定量化を行う画像診断システムの設計。
まず(A)では，これまでに開発を行った病理組織診断を反映して非腫瘍性病変(Type A),腺腫(Type B),粘膜内癌・浸潤癌(Type C3)と高値になるような定量的な数値を医師に提示する画像認識システムの臨床試験による検証を行った。そして得られた内視鏡画像と画像認識結果のうち特に誤診と見なされる内視鏡画像を集積し、適切な診断基準のもとにラベル付けを行い学習用画像として使用することによりさらに高品質なデータベースの作成を行った。
また，(B)では，機種間の相違をなくすため新機種による少数の適切な学習用画像によるデータベースを作成し、転移学習を行いこれまで作成した大量のデータベースを再利用することにより、光学的には異なる画像である最新の内視鏡システムにおいても使用可能な画像認識アルゴリズムを構築した。
そして，(C)では，大腸NBI非拡大内視鏡にて腫瘍性病変および非腫瘍性病変の撮影および画像の保存を行った。そして、病理組織診断を反映するコンピュータ診断に適した画像診断基準に関して、検討を実施した。これには局所特徴量と大域特徴量の2つを取り入れた特徴抽出と特徴量変換アルゴリズムを新規に開発し、これを用いて病変部以外の領域を除外し、病変部では病理組織診断を反映して腫瘍部分が高値になるような定量的な認識アルゴリズムを開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまで我々は大腸NBI拡大内視鏡にて同一条件で大腸腫瘍性病変・非腫瘍性病変の撮影およびHi-vision画像(1440×1080画素)の保存を行い、この画像を元に内視鏡専門医が病理組織診断を反映する最も悪性度の高い領域の抽出、及び、コンピュータ診断に適した診断基準に基づくラベル付けを行い、データベース化を行ってきた。一方、内視鏡の開発は現在も進んでおり新たな機種が開発されてきている。機種間で内視鏡画像情報が異なることは工学的には周知の事実であるが、そのため機種ごとにデータベースを作成することは画像認識システムの一般化において問題となる。そこで、本年度の研究では機種間の相違をなくすため新機種による少数の適切な学習用画像によるデータベースを作成し、転移学習を行いこれまで作成した大量のデータベースを再利用することにより、光学的には異なる画像である最新のFull HD(1920×1080)で保存された内視鏡システムにおいても使用可能な画像認識システムの基盤技術の開発を行った。更に、最新の内視鏡による適切な転移学習用の内視鏡画像の撮影を行い、転移学習に適した診断基準に基づくラベル付けとデータベース化を行った。構築された画像データベースをもとに、開発する転移学習システムを用いて、最新機種においても病理組織診断を反映してType A, B, C3と高値になるような定量的な数値を医師に提示する画像認識システムの設計に関する基盤技術を実施することができた。これらの研究実績は、当初予定していた計画より進んでおり、また、当初予想されなかった実際の内視鏡の動画像の複雑な画像に対する新しい知見と課題を発見することができ、その課題に取り組むことが可能となり、現在、この課題を解決する方法を開発中である。
|
| Strategy for Future Research Activity |
平成30年度は、(D)高精細な拡大・非拡大内視鏡画像をリアルタイム処理する診断支援アーキテクチャの開発に関して、これまでに開発している大腸NBI拡大内視鏡画像のためのリアルタイム診断支援ハードウェアをベースシステムとして、非拡大画像と高精細画像をリアルタイム処理可能なアーキテクチャを開発する。具体的には、以下の4つのコア技術を開発し、検証により改善を行う。
①まず、局所・大域特徴量を融合した特徴抽出アーキテクチャの開発を行う。非拡大画像や高精細画像では、識別領域が広範囲に及ぶため、開発しているDSIFTによる局所特徴に加えて、広範囲の病変部位等の構造に着目した大域特徴を抽出し、これをストリーム処理で抽出するアーキテクチャを開発する。
②次に2次元情報を考慮した階層型特徴変換アーキテクチャの開発では、特にVisual Wordへの特徴変換において、特徴の2次元情報を保持した階層型Visual Wordを新たに提案し、手法の有効性を評価して、アーキテクチャを設計する。
③病変以外を除去し、病変部では識別率が高値となるようにするために、SVMを用いたタイプ識別部では、開発しているピラミッド型識別のバリエーションを複数考案する。そして局所特徴と大域特徴、及び、これらを組み合わせた3種類の評価方法を新たに開発し、手法の有効性を検証して、アーキテクチャの基本設計を行う。
④特に4K(3840×2160)画像はFull HDの4倍のデータ量となるため、従来のストリーム処理による高速化に加えて、新たに診察時のリアルタイム診断支援に適したインターレーススキャン方式による画像解析手法を考案し、病変部以外を処理の早い段階（階層）で検出・除外することで、処理データの削減とリアルタイム処理を実現する手法を開発する。
|
| Remarks |
Press Release : "Hiroshima University Research Team Accelerates the Development of a Computer-Aided Medical Diagnosis System", Press Release Date: Oct 11, 2017, 21:00 ET, https://goo.gl/JSoqZ6
|
-
-
[Journal Article] Domain Adaptation with L2 constraints for classifying images from different endoscope systems2018
Author(s)
Toru Tamaki, Shoji Sonoyama, Takio Kurita, Tsubasa Hirakawa, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka, Kazuaki Chayama
-
Journal Title
Cornel University Library
Volume: 2018
Pages: 1-16
DOI
Open Access
-
[Journal Article] CNN特徴とSVM分類を適用した大腸内視鏡画像がん診断支援システムのカスタマイザブルDSPコアへの実装2017
Author(s)
岡本 拓巳, 小出 哲士, 玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治, 戸石 浩司, 菅原 崇之, 辻 雅之, 小田川 真之, 丹場 展雄
-
Journal Title
Design Automationシンポジウム2017論文集
Volume: 4A-1
Pages: 1-6
Peer Reviewed
-
-
-
[Presentation] A Prototyping of an Endoscopic Image Recognition System for Computer-Aided Diagnosis of Colorectal Tumor2018
Author(s)
T. Okamoto, S. Abe, Y. Sakane, T. Koide, A.-T. Hoang, T. Tamaki, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka, H. Toishi, T. Sugawara, M. Tsuji, M. Odagawa, N. Tamba, T. Sugihara, N. Sugihara
Organizer
The International Workshop on Nanodevice Technologies 2018
Int'l Joint Research
-
[Presentation] Tensilica DSP Cores for Neural Networks and an Application to Computer-Aided Diagnosis System for Colorectal Tumor Classification2018
Author(s)
Masayuki Odagawa, Masayuki Tsuji, Hiroshi Toishi, Takayuki Sugawara, Nobuo Tamba,Takumi Okamoto, Tetsushi Koide, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
Organizer
The International Workshop on Nanodevice Technologies 2018
Int'l Joint Research / Invited
-
-
[Presentation] 大腸がん診断支援のための画像認識プロトタイプシステム2018
Author(s)
岡本 拓巳, 小出 哲士, Anh Tuan Hoang, 玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治, 戸石 浩司, 菅原 崇之, 辻 雅之, 小田川 真之, 丹場 展雄, 杉原 利彦, 杉原 尚樹
Organizer
平成29年度生体医歯工学共同研究拠点 成果報告会
-
[Presentation] Real-time Processing of Computer-Aided Diagnosis System for Colorectal Tumor Classification in NBI Endoscopy Using CNN Features by Implementing to Tensilica Vision P6 DSP2017
Author(s)
Masayuki Tsuji, Hiroshi Toishi, Takayuki Sugawara, Masayuki Odagawa, Nobuo Tamba, Takumi Okamoto, Tetsushi Koide, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
Organizer
The 2nd International Symposium on Biomedical Engineering
Int'l Joint Research / Invited
-
[Presentation] An FPGA Implementation of SVM for Type Identification with Colorectal Endoscopic Images2017
Author(s)
T. Okamoto, T. Koide, T. Shimizu, K. Sugi, A.-T. Hoang, T. Tamaki, T. Hirakawa, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
Organizer
The 2nd International Symposium on Biomedical Engineering
Int'l Joint Research
-
-
-
[Presentation] Implementation of Computer-Aided Diagnosis System on Customizable DSP Core for Colorectal Endoscopic Images with CNN features and SVM2017
Author(s)
T. Okamoto, T. Koide, T. Tamaki, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka, H. Toishi, T. Sugawara, M. Tsuji, M. Odagawa, N. Tamba
Organizer
The 2nd International Symposium on Biomedical Engineering
Int'l Joint Research
-
[Presentation] Compact and High-Speed Hardware Feature Extraction Accelerator for Dense Scale-Invariant Feature Transform2017
Author(s)
T. Okamoto, T. Koide, T. Shimizu, K. Sugi, A.-T. Hoang, T. Tamaki, T. Hirakawa, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
Organizer
The 2nd International Symposium on Biomedical Engineering
Int'l Joint Research
-
[Presentation] A Hardware Accelerator for Bag-of-Features based Visual Word Transformation in Computer Aided Diagnosis for Colorectal Endoscopic Images2017
Author(s)
T. Okamoto, T. Koide, T. Shimizu, K. Sugi, A.-T. Hoang, T. Tamaki, T. Hirakawa, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
Organizer
The 2nd International Symposium on Biomedical Engineering
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
