2018 Fiscal Year Annual Research Report
Construction of objective indicators by gastrointestinal endoscopic image analysis and development of general computer-aided diagnosis system
| Project/Area Number |
17H01714
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
小出 哲士 広島大学, ナノデバイス・バイオ融合科学研究所, 准教授 (30243596)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 信治 広島大学, 病院(医), 教授 (00260670)
玉木 徹 広島大学, 工学研究科, 准教授 (10333494)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 計算機システム / 画像認識 / 内視鏡診断支援 / 医用応用のための画像診断システム / ハード・ソフト協調設計 / 集積回路 / 機械学習・深層学習 / 転移学習 |
|---|
| Outline of Annual Research Achievements |
平成30年度は、これまでに開発している大腸NBI拡大内視鏡画像のためのリアルタイム診断支援ハードウェアをベースシステムとして、非拡大画像と高精細画像をリアルタイム処理が可能なアーキテクチャを開発することを目指した。具体的には、以下のコア技術を開発し、検証により改善を行った。
まず、局所・大域特徴量を融合した特徴抽出手法の開発を行った。非拡大画像や高精細画像では、識別領域が広範囲に及ぶため、これまでに開発しているDSIFTによる局所特徴のみでは、識別がうまく行かない場合がある。そこで，広範囲の病変部位等の構造に着目した大域特徴を抽出することが可能なCNNによる特徴抽出する方式を開発した。提案手法では、一般物体検出のためのImageNet画像データベースで学習済みのCNNとしてAlexNetを特徴抽出器として使用し、内視鏡画像に適用することで多次元の特徴ベクトルの抽出を可能とした。そして得られた特徴量を使用して、SVMによる病理タイプ分類を行う手法を開発した。
開発したCNN特徴とSVM分類を適用した診断支援システムをカスタマイザブルなDSPコアであるTensilica Vision P6 DSPコアに実装し、ソフトウェアとハードウェアの観点から評価・検証を行った。特に本研究では、内視鏡の動画像処理に向けたシステムの処理性能の改善のために、システム全体の処理サイクル数のプロファイリングを行い、改善の影響が大きい処理の特定し、その改良を行った。その結果改良前と比較して処理サイクル数を70%削減することができ、200 MHzでシステムを動作させた場合に約41 fpsのフレームレートを実現することが可能となり、入出力処理のシステムオーバヘッドを加味してもリアルタイム処理が実現可能であることを示すことができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
平成30年度においては、我々は大腸NBI拡大内視鏡にて同一条件で大腸腫瘍性病変・非腫瘍性病変の撮影およびFull HD画像の静止画像と動画像の集積を行い、この静止画像・動画像を元に内視鏡専門医が病理組織診断を反映する最も悪性度の高い領域の抽出、及び、コンピュータ診断に適した診断基準に基づくデータベース化を行ってきている。特に、動画像は静止画像と異なり、画像中に色ずれやボケが存在するだけでなく、内視鏡スコープや被写体が動くため、撮影される画像の倍率が一定でないという問題点がある。更に、内視鏡の開発は現在も進んでおり新たな機種が開発されている。機種間で内視鏡画像が異なることは周知の事実であるが、そのため機種ごとにデータベースを作成することは画像認識システムの一般化において問題となる。そこで、機種間の相違をなくすため新機種による少数の適切な学習用画像によるデータベースを作成し、深層学習と機械学習を組み合わせた手法の学習方法を改良することにより、これまで作成した大量のデータベースを再利用することにより、最新の内視鏡システムにおいても使用可能な画像認識システムの基盤技術の開発を行った。そして開発した新しい手法を用いて、最新機種においても病理組織診断を反映して、国内で統一された分類であるJNET分類に対応したType 1, Type 2A, Type 3と高値になるような定量的な数値を医師に提示する画像認識システムの設計に関する基盤技術を実施することができた。これらの研究実績は、当初予定していた計画より進んでおり、また、当初予想されなかった実際の内視鏡の動画像の複雑な画像に対する新しい知見と課題を発見することができ、その課題に取り組むことが可能となり、現在、この課題を解決する方法を開発中である。
|
| Strategy for Future Research Activity |
平成31年度は、30年度に引き続き、以下の５項目について評価・検証を行い、より信頼性の高い診断支援システムのためのアルゴリズムとアーキテクチャの改良を実施する．(A)NBI拡大・非拡大内視鏡画像データ集積と臨床試験によるシステムの高精度化、(B)腫瘍NBI拡大内視鏡画像データベースの再利用を行う転移学習アルゴリズムの開発、(C)NBI非拡大内視鏡画像の定量化を行う画像診断システムの設計、(D)高精細な拡大・非拡大内視鏡画像をリアルタイム処理する診断支援アーキテクチャの開発、(E)FPGAプロトタイプシステム試作とNBI内視鏡動画像に対する臨床試験。特に、以下の4つのコア技術を開発し、検証により改善を行う。
①局所・大域特徴量を融合した特徴抽出アルゴリズムとアーキテクチャの開発を行う。非拡大画像や高精細画像では、識別領域が広範囲に及ぶため、開発しているCNN特徴抽出による広範囲の病変部位等の構造に着目した大域特徴を抽出する手法を改良し、より信頼性の高い手法を開発する。
②これまでに集積している内視鏡の動画像に対して、自動的に病変部をアノテーションする方法を検討し、得られた画像データを用いて学習することにより、動画像に対する識別精度の向上を目指す。
③病変以外を除去し、病変部では識別率が高値となるようにするために、深層学習と機械学習を用いたタイプ識別部に対して、これまでに提案しているピラミッド型識別の新しいバリエーションを考案し、ハードウェア実装に向いた方式を開発する
④動画像の高速処理のために、新たに診察時のリアルタイム診断支援に適したインターレーススキャン方式による画像解析手法を考案し、病変部以外を処理の早い段階（階層）で検出・除外することで、処理データの削減とリアルタイム処理を実現する手法を開発する。
|
-
-
-
-
[Presentation] Implementation of Computer-Aided Diagnosis System on Customizable DSP Core for Colorectal Endoscopic Images with CNN Features and SVM2018
Author(s)
Takumi Okamoto, Tetsushi Koide, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka, Hiroshi Toishi, Takayuki Sugawara, Masayuki Tsuji, Masayuki Odagawa, Nobuo Tamba
Organizer
IEEE Region 10 Conference 2018 (TENCON2018)
Int'l Joint Research
-
-
-
-
[Presentation] Image Identification System on Rapid Prototyping Platform with Customizable DSP Core for Biomedical Application2018
Author(s)
Masayuki Odagawa, Takumi Okamoto, Tetsushi Koide, Hiroshi Toishi, Takayuki Sugawara, Masayuki Tsuji, Nobuo Tamba, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
Organizer
The 3rd International Symposium on Biomedical Engineering
Int'l Joint Research
-
[Presentation] Implementation of Real-Time Computer-Aided Diagnosis System for Colorectal Endoscopic Video with CNN features and SVM identifier2018
Author(s)
Takumi Okamoto, Tetsushi Koide, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka, Masayuki Odagawa, Hiroshi Toishi, Takayuki Sugawara, Masayuki Tsuji, Nobuo Tamba
Organizer
The 3rd International Symposium on Biomedical Engineering
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
