診察時リアルタイム診断支援のための消化管内視鏡画像診断ハードウェアシステムの開発

2014 Fiscal Year Annual Research Report

• Project/Area Number: 26280015
• Research Institution: Hiroshima University
• Principal Investigator: 小出 哲士 広島大学, ナノデバイス・バイオ融合科学研究所, 准教授 (30243596)
• Co-Investigator(Kenkyū-buntansha): 吉田 成人 広島大学, 大学病院, 病院助教 (00335689) ; 玉木 徹 広島大学, 工学(系)研究科(研究院), 准教授 (10333494)
• Project Period (FY): 2014-04-01 – 2017-03-31
• Keywords: 計算機システム / 画像認識 / 医療応用のための画像診断システム / ハード・ソフト協調設計 / 集積回路 / FPGA / CAD / 大腸内視鏡画像

Outline of Annual Research Achievements

本研究では、以下の5つの研究項目について平成26年度から3年間で実施する。各項目はそれぞれ密接に関係しているため、同時並行的に行うことを計画している。研究項目：(A)静止画像に対する基本認識処理アーキテクチャの設計とハードウェア実装、(B)高解像度HV画像の全画面スキャン方法の決定と最適化、(C)階層的な領域抽出アルゴリズムの開発とハードウェアアーキテクチャの設計、(D)診察時の動画像に対してロバストな認識アルゴリズムへの拡張とアーキテクチャ設計、(E)プロトタイプシステム構築と大腸・胃拡大内視鏡動画像への適用。
平成２６年度では、特に(A)静止画像に対する基本認識処理アーキテクチャの設計とハードウェア実装について研究を推進した。開発するアーキテクチャは、大きく4つの処理から構成される。①特徴量抽出処理（D-SIFT）、②識別特徴ベクトル（Visual Word）変換処理、③３タイプ（Type A:非腫瘍性病変、Type B:腺腫、Type C3:浸潤癌の識別確率）識別器による病理判定処理（SVM）、④病理識別確率計算処理。
このうち、特に計算コストが大きな①特徴量抽出処理（D-SIFT）と③病理判定処理（SVM）については、まず、ハードウェアアルゴリズムを開発し、基本アーキテクチャを設計して、FPGAへの実装を行った。そして残りの2つの処理のうち、②識別特徴ベクトル変換処理のハードウェアアルゴリズムを開発し、アーキテクチャ設計を行い、FPGA実装を行った。また、(C)階層的な領域抽出アルゴリズムの開発とハードウェアアーキテクチャの設計を実施した。
以上に対して、シミュレーションにより精度保証を医師の診断結果と比較して確認し、そのアーキテクチャ設計を行うが、処理速度と識別精度を検証するために、医師の診断結果と比較を行った。識別精度は、使用する学習データにも依存するため、初年度においては検証と学習の両方に使用できる様々な内視鏡画像を医師により集積した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

初年度に計画した研究内容に関して、新しいハードウェアアルゴリムの開発、シミュレーションによる評価、アーキテクチャ設計、並びにハードウェア設計（FPGA実装）がほぼ予定通りに進んだ。また、ハードウェア向けのアルゴリズムによるシミュレーション結果から、従来のソフトウェアの結果と同等以上の診断支援精度を得ることができ、医師による評価の結果、十分な精度を保証することができた。また、今後のシステムの改良に必要な内視鏡画像データの集積も行うことができた。

Strategy for Future Research Activity

平成２７年度では、(B)高解像度HV画像の全画面スキャン方法の決定と最適化を行い、プロトタイプシステムの最適化を行う。まず、(B-1)スキャンするSWの大きさとステップ間隔の最適化を実施する。具体的には、１画面の処理時間は、スキャンするSWの大きさとスキャンするステップ間隔により変化する。実際の患部は四角形ではないため、小さいSWサイズの方が患部の領域を分割しやすくなるが、１つのSWから得られる特徴量が少なくなるため識別精度が劣化する可能性も予想される。そこで、処理速度と識別精度の2つのトレードオフを考慮して、最適なSWのサイズとステップ間隔をシミュレーションにより決定する。次に(B-2)最適パラメータを用いたハードウェア実装：最適化したSWを用いたスキャン方式のアーキテクチャ設計を行い、FPGA上に実装する。特にレイテンシ(入力されてから結果が表示されるまでの時間)の短縮を図る。また、(C)階層的な領域抽出アルゴリズムの開発とハードウェアアーキテクチャの設計についても更に研究を推進する。まず、(C-1)初年度に開発した病理組織を自動抽出するアルゴリズムの改良を行う。更にSWサイズが異なる階層的SW探索手法をハードウェア化する。具体的には、各SWに対して処理を行い、各SWの病理識別確率（A:非腫瘍性病変、B:腺腫、C3:浸潤癌の識別確率）を計算し、計算結果に応じてSWを細分化し、サイズの小さなレベル2,3のSWを生成して判定する方法を開発する。そして、(C-2)階層的な領域抽出アルゴリズムを開発する。このアルゴリズムのハードウェア化には下記の項目が重要となる。既に開発している①特徴量抽出ブロックでは、SWサイズが変化しても、特徴量計算を同じハードウェアで同時に計算できるため、可変のSWサイズに対応できる。

Causes of Carryover

平成２６年度に購入予定であった「FPGAプロトタイプ開発ボード」２セットは、Altera社製のFPGAチップを使用して、製造されている評価ボードである。この評価ボードに搭載されるFPGAチップを製造・開発しているAltera社（米国本社）が、新しいFPGAチップのラインナップのStratix10を最先端デバイスとして発表し、量産をはじめる体制を発表したことにより、FPGAプロトタイプボード製造会社GiDELが現在、このFPGAチップを使用した評価ボードの製造を見合わせ、ならびに、新しいデバイスStratix10を使用した評価ボードの開発を計画していることもあり、当初予定していたFPGAボードを入手するのに、最低でも6ヶ月以上も納期がかかることがわかった。

Expenditure Plan for Carryover Budget

平成２６年度に使用予定であった「FPGAプロトタイプ開発ボード」と「FPGAプロトタイプシステム組み込みコンピュータ」の購入を次年度に変更し、現在は、現有のGiDEL社製のFPGAプロトタイプ開発ボードと上記で入手したAltera社製のFPGAプロトタイプ評価ボードを用いて、ハードウェア設計、シミュレーション、並びに、システムの評価を行っている。

Research Products

• [Journal Article] A Computer System To Be Used With Laser-Based Endoscopy For Quantitative Diagnosis of Early Gastric Cancer (2015)
  • Author(s): R. Miyaki, S. Yoshida, S. Tanaka, Y. Kominami, Y. Sanomura, T. Matsuo, S. Oka, B. Raytchev, T. Tamaki, T. Koide, K. Kaneda, M. Yoshihara, C. Chayama
  • Journal Title: Journal of Clinical Gastroenterology Volume: 49(2) Pages: 108-15
  • DOI: 10.1097/MCG.0000000000000104
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Presentation] High Performance Feature Transformation Architecture based on Bag-of-Features in CAD system Colorectal Endoscopic Images (2015)
  • Author(s): Koki Sugi, Tetsushi Koide, Anh-Tuan Hoang, Takumi Okamoto, Tatsuya Shimizu, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Yoko Kominami, Shigeto Yoshida, Shinji Tanaka
  • Organizer: Workshop on Synthesis And System Integration of Mixed Information Technologies (SASIMI 2015)
  • Place of Presentation: Taiwan, Yilan
  • Year and Date: 2015-03-16 – 2015-03-17
• [Presentation] A Hierarchical Type Segmentation Algorithm Based on Support Vector Machine for Colorectal Endoscopic Images with NBI Magnification (2015)
  • Author(s): Takumi Okamoto, Tetsushi Koide, Anh-Tuan Hoang, Koki Sugi, Tatsuya Shimizu, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Yoko Kominami, Shigeto Yoshida, Shinji Tanaka
  • Organizer: Workshop on Synthesis And System Integration of Mixed Information Technologies (SASIMI 2015)
  • Place of Presentation: Taiwan, Yilan
  • Year and Date: 2015-03-16 – 2015-03-17
• [Presentation] A Real-Time D-SIFT Feature Extraction for Colorectal Endoscopic Images with NBI Magnification (2015)
  • Author(s): Tatsuya Shimizu, Tetsushi Koide, Anh-Tuan Hoang, Koki Sugi, Takumi Okamoto, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda,Yoko Kominami, Shigeto Yoshida,Shinji Tanaka
  • Organizer: International Workshop on Nanodevice Technologies 2015 (IWNT2015)
  • Place of Presentation: Hiroshima, Japan
  • Year and Date: 2015-03-03 – 2015-03-03
• [Presentation] A Real-Time Visual Word Feature Transformation for Colorectal Endoscopic Images with NBI Magnification (2015)
  • Author(s): Koki Sugi, Tetsushi Koide, Anh-Tuan Hoang, Tatsuya Shimizu, Takumi Okamoto, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Yoko Kominami, Shigeto Yoshida, Shinji Tanaka
  • Organizer: International Workshop on Nanodevice Technologies 2015 (IWNT2015)
  • Place of Presentation: Hiroshima, Japan
  • Year and Date: 2015-03-03 – 2015-03-03
• [Presentation] A Real-Time Type Identification based on Support Vector Machine for Colorectal Endoscopic Images with NBI Magnification (2015)
  • Author(s): Takumi Okamoto, Tetsushi Koide, Anh-Tuan Hoang, Koki Sugi, Tatsuya Shimizu, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Yoko Kominami, Shigeto Yoshida, Shinji Tanaka
  • Organizer: International Workshop on Nanodevice Technologies 2015 (IWNT2015)
  • Place of Presentation: Hiroshima, Japan
  • Year and Date: 2015-03-03 – 2015-03-03
• [Presentation] リアルタイム大腸内視鏡診断支援のためのD-SIFT特徴量抽出アーキテクチャ (2015)
  • Author(s): 清水達也，小出哲士，Anh-Tuan Hoang，杉幸樹，岡本拓巳，玉木徹，Bisser Raytchev，金田和文，小南陽子，吉田成人，田中信治
  • Organizer: STARCシンポジウム2015
  • Place of Presentation: 横浜、日本
  • Year and Date: 2015-01-31 – 2015-01-31
• [Presentation] アルタイム大腸内視鏡診断支援のためのVisual Word特徴量変換アーキテクチャ (2015)
  • Author(s): 杉幸樹，小出哲士，Anh-Tuan Hoang，清水達也，岡本拓巳，玉木徹，Bisser Raytchev，金田和文，小南陽子，吉田成人，田中信治
  • Organizer: STARCシンポジウム2015
  • Place of Presentation: 横浜、日本
  • Year and Date: 2015-01-31 – 2015-01-31
• [Presentation] リアルタイム大腸内視鏡診断支援のためのSVMを用いたタイプ識別アーキテクチャ (2015)
  • Author(s): 岡本拓巳，小出哲士，Anh-Tuan Hoang，清水達也，杉幸樹，玉木徹，Bisser Raytchev，金田和文，小南陽子，吉田成人，田中信治
  • Organizer: STARCシンポジウム2015
  • Place of Presentation: 横浜、日本
  • Year and Date: 2015-01-31 – 2015-01-31
• [Presentation] FPGA Implementation of Type Identifier for Colorectal Endoscopic Images with NBIMagnification (2014)
  • Author(s): T. Koide, A. T. Hoang, T. Okamoto, S. Shigemi, T. Mishima, T. Tamaki, B. Raytchev, K. Kaneda, Y. Kominami, R. Miyaki, T. Matsuo, S. Yoshida, Shinji Tanaka
  • Organizer: The 12th IEEE Asia Pacific Conference on Circuits and Systems (APCCAS 2014)
  • Place of Presentation: Okinawa, Japan
  • Year and Date: 2014-11-17 – 2014-11-20
• [Presentation] SVM-MRF Segmentation of Colorectal NBI Endoscopic Images (2014)
  • Author(s): T. Hirakawa T, T. Tamaki, N. Raytchev, K. Kaneda, T. Koide, Y. Kominami, S. Yoshida, S.Tanaka
  • Organizer: The 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2014)
  • Place of Presentation: Chicago, USA
  • Year and Date: 2014-08-26 – 2014-08-30
• [Presentation] 大腸NBI拡大内視鏡画像診断支援のための特徴量変換アーキテクチャの開発 (2014)
  • Author(s): 杉 幸樹, 重見 悟, 三島 翼, A. T. Hoang，小出 哲士，玉木 徹，B. Raytchev，金田 和文，小南 陽子，宮木 理恵，松尾 泰治，吉田 成人，田中 信治
  • Organizer: 第20回画像センシングシンポジウム（SSII2014）論文集
  • Place of Presentation: 横浜、日本
  • Year and Date: 2014-06-13 – 2014-06-16
• [Presentation] 大腸NBI拡大内視鏡画像診断支援のための特徴量抽出アーキテクチャ (2014)
  • Author(s): 小出 哲士, 三島 翼, 重見 悟, 杉 幸樹, A. T. Hoang，玉木 徹，B. Raytchev，金田 和文，小南 陽子，宮木 理恵，松尾 泰治，吉田 成人，田中 信治
  • Organizer: 第20回画像センシングシンポジウム（SSII2014）論文集
  • Place of Presentation: 横浜、日本
  • Year and Date: 2014-06-13 – 2014-06-16
• [Presentation] Support Vector Machineを用いたピラミッド型識別器による大腸NBI拡大内視鏡画像の領域分割 (2014)
  • Author(s): 小出 哲士, 重見 悟, 三島 翼, 杉 幸樹, A. T. Hoang，玉木 徹，B. Raytchev，金田 和文，小南 陽子，宮木 理恵，松尾 泰治，吉田 成人，田中 信治
  • Organizer: 第20回画像センシングシンポジウム（SSII2014）論文集
  • Place of Presentation: 横浜、日本
  • Year and Date: 2014-06-13 – 2014-06-16
• [Presentation] FPGA implementation of feature extraction for colorectal endoscopic images with NBI magnification (2014)
  • Author(s): T. Mishima, S. Shigemi, A. T. Hoang, T. Koide, T. Tamaki, B. Raytchev, K. Kaneda, Y. Kominami, R. Miyaki, T. Matsuo, S. Yoshida, S. Tanaka
  • Organizer: IEEE International Symposium on Circuits and Systems (ISCAS2014)
  • Place of Presentation: Melbourne, Australia
  • Year and Date: 2014-06-01 – 2014-06-05
• [Presentation] A Computer-Based System for Quantitative Diagnosis of Early Gastric Cancer Under Blue LASER Imaging-Magnifying Endoscopy (2014)
  • Author(s): Shigeto Yoshida, Rie Miyaki, Yoko Kominami, Yoji Sanomura, Taiji Matsuo, Shiro Oka, Shinji Tanaka, Bisser Raytchev, Toru Tamaki, Kazufumi Kaneda, Tsubasa Mishima, Satoshi Shigemi, Anh-Tuan Hoang, Tetsushi Koide, Kazuaki Chayama
  • Organizer: American Society for Gastrointestinal Endoscopy (ASGE) 2014 (DDW)
  • Place of Presentation: Chicago, USA
  • Year and Date: 2014-05-03 – 2014-05-06
• [Remarks] 広島大学ナノデバイス・バイオ融合科学研究所論文刊行物
  • URL: http://www.rnbs.hiroshima-u.ac.jp/papconf.html
• [Remarks] 広島大学ナノデバイス・バイオ融合科学研究所メンバー紹介
  • URL: http://www.rnbs.hiroshima-u.ac.jp/koide/
• [Remarks] 広島大学大学院先端物質科学研究科半導体集積科学専攻教員紹介
  • URL: http://www.seis.hiroshima-u.ac.jp/index.php?id=53