診察時リアルタイム診断支援のための消化管内視鏡画像診断ハードウェアシステムの開発

2015 Fiscal Year Annual Research Report

• Project/Area Number: 26280015
• Research Institution: Hiroshima University
• Principal Investigator: 小出 哲士 広島大学, ナノデバイス・バイオ融合科学研究所, 准教授 (30243596)
• Co-Investigator(Kenkyū-buntansha): 玉木 徹 広島大学, 工学(系)研究科(研究院), 准教授 (10333494) ; 田中 信治 広島大学, 大学病院, 教授 (00260670)
• Project Period (FY): 2014-04-01 – 2017-03-31
• Keywords: 計算機システム / 画像認識 / 医療応用のための画像処理 / ハードウェア・ソフトウェア協調設計 / 集積回路 / FPGA / 診断支援システムCAD / 大腸内視鏡画像

Outline of Annual Research Achievements

本研究では、以下の5つの研究課題に取り組む。各項目はそれぞれ密接に関係しているため、同時並行的に行うことを計画している。研究項目：(A)静止画像に対する基本認識処理アーキテクチャの設計とハードウェア実装、(B)高解像度HV画像の全画面スキャン方法の決定と最適化、(C)階層的な領域抽出アルゴリズムの開発とハードウェアアーキテクチャの設計、(D)診察時の動画像に対してロバストな認識アルゴリズムへの拡張とアーキテクチャ設計、(E)プロトタイプシステム構築と大腸・胃拡大内視鏡動画像への適用。
平成27年度では、平成26年度に開発した基本アーキテクチャに対して、高解像度HV画像の全画面スキャン方法の決定と最適化を行い、プロトタイプシステムの最適化を行った。まず、スキャンするSWの大きさとステップ間隔の最適化を実施する：開発した120×120画素のSW領域に対する基本アーキテクチャをベースにして、VGA画像とHV画像の１画面をスキャンする方法を決定した。具体的には、１画面の処理時間は、スキャンするSWの大きさとスキャンするステップ間隔により変化する。実際の患部は四角形ではないため、小さいSWサイズの方が患部の領域を分割しやすくなるが、１つのSWから得られる特徴量が少なくなるため識別精度が劣化する可能性も予想される。そこで、処理速度と識別精度の2つのトレードオフを考慮して、最適なSWのサイズとステップ間隔をシミュレーションにより決定した。次に、最適化したSWを用いたスキャン方式のアーキテクチャ設計を行い、FPGA上に実装した。特にレイテンシ(入力されてから結果が表示されるまでの時間)の短縮を図った。また、階層的な領域抽出アルゴリズムの開発とハードウェアアーキテクチャの設計についても更に研究を推進した。また、初年度に開発した病理組織を自動抽出するアルゴリズムの改良も行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

初年度に開発した手法に関して、新しいハードウェアアルゴリズムの開発、シミュレーションによる評価、アーキテクチャ設計、並びにハードウェア設計（FPGA実装）がほぼ予定通りに進んだ。また、ハードウェア向けのアルゴリズムによるシミュレーション結果から、従来のソフトウェアの結果と同等以上の診断支援精度を得ることができ、医師による評価の結果、十分な精度を保証することができた。更に、３つの各処理ブロックに対して、ハードウェア実装を行った。医療現場から要求されている、Full HD画像の全画面識別に対するスループット、レイテンシがそれぞれ1 fps（frame / sec）以上、1 sec.以下の制約条件のもとで、最大のリアルタイム処理パフォーマンスを実現し，正診率90%以上を満たすことができた。
特に、特徴量抽出では，Full-HD (1920×1080) に対してレイテンシ20 msec @100 MHzでのリアルタイムを実現し、ソフトウェア実装と比較して約700倍の高速化が可能となった。ハードウェアリソースの使用率1%以下を実現することにより、コンパクトかつ並列処理化（マルチブロック化）が可能であることを示した。特徴量変換では，正診率90 %以上で，Full HD全画面の特徴量変換処理のレイテンシ60 msec，スループット16 fpsを達成し，システム全体においても医療現場からの要求性能を満たすことを確認した．
SVM識別関数計算部では，シミュレーションの結果，並列度を64とした場合に100 MHzでの動作周波数で処理時間を約61 msec，スループット16 fpsを実現できることが確認できた．また，大腸内視鏡画像の全画面識別において，腫瘍形状に対してロバストな診断支援を実現するための手法として提案している階層的タイプ識別手法についてその有効性を検証した。

Strategy for Future Research Activity

平成28年度では、(D)診察時の動画像に対してロバストな認識アルゴリズムへの拡張とアーキテクチャ設計を行う。
現在開発しているアルゴリズムでは、入力の各SWに対して、1度の判定で病理識別確率を出力する。しかし、実際の診察時における拡大内視鏡画像では、(i)ライトによる画像の白飛び、(ⅱ)水による洗浄に伴う画像の乱れ、(ⅲ)大腸壁面の血管による脈動、並びに(ⅳ)内視鏡操作による画像のぼけ、などが存在する。この問題を解決しロバスト性を向上する方法を以下の3つに対して開発し、FPGA(Field Programmable Gate Array)上に実装する。
まず、ノイズ特徴量の除去機能を実現するために、特徴量抽出処理における例外画像検出処理を開発し、上記の要因から生じるノイズ画像の特徴量が積算されないように除去する機能を追加する。そして、プロトタイプシステムの構築：これまでに開発している(A)～(D)の4つの機能を取り入れたプロトタイプシステムをFPGA上に構築し、実際の診療時に撮影した大腸NBI拡大内視鏡動画像に対して適用して、処理時間・レイテンシの評価を行いアーキテクチャの改良を行う。また、識別精度の妥当性を医師に確認してもらい、システムの診断支援結果と医師の診断結果の相違点から精度改良方法を検証する。

Causes of Carryover

平成27年度に購入予定であった「FPGAプロトタイプ開発ボード」2セットは、Altera社製のFPGAチップを使用して、製造されている評価ボードである。この評価ボードに搭載されるFPGAチップを製造・開発しているAltera社（米国本社）が、新しいFPGAチップのラインナップのStratix10を最先端デバイスとして発表し、量産をはじめる体制を発表したことにより、FPGAプロトタイプボード製造会社GiDELが現在、このFPGAチップを使用した評価ボードの製造を見合わせ、ならびに、新しいデバイスStratix10を使用した評価ボードの開発を計画していることもあり、当初予定していたFPGAボードを年度内に入手することが困難となったため、代替機を含めた検討を行うとともに、メーカーに出荷計画を問合せするため、次年度に延期した。

Expenditure Plan for Carryover Budget

平成27年度に使用予定であった「FPGAプロトタイプ開発ボード」と「FPGAプロトタイプシステム組み込みコンピュータ」の購入を次年度に変更し、現在は、現有のGiDEL社製のFPGAプロトタイプ開発ボードと上記で入手したAltera社製の別タイプのFPGAプロトタイプ評価ボードを用いて、ハードウェア設計、シミュレーション、並びに、システムの評価を行っている。
以上のように、研究内容に関しては、現在、研究計画通りに進んでおり、今後は、評価システムとして構築予定でFPGAプロトタイプシステムの評価ボードやFPGAが変更になるか、もしくは、同じ機能を有する機器を調達する予定である。

Remarks

広島大学 ナノデバイス・バイオ融合科学研究所 研究所年報（ARR）、広島大学 ナノデバイス・バイオ融合科学研究所 研究所ニュース、広島大学 ナノデバイス・バイオ融合科学研究所 かわら版「なのてくてく」http://www.rnbs.hiroshima-u.ac.jp/papconf.html

Research Products

• [Journal Article] Computer-aided diagnosis of colorectal polyp histology by using a real-time image recognition system and narrow-band imaging magnifying colonoscopy (2016)
  • Author(s): Kominami Y, Yoshida S, Tanaka S, Sanomura Y, Hirakawa T, Raytchev B, Tamaki T, Koide T, Kaneda K, Chayama K.
  • Journal Title: Gastrointest Endosc. Volume: 83(3) Pages: 643-9
  • DOI: 10.1016/j.gie.2015.08.004. Epub 2015 Aug 8.
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Presentation] 大腸内視鏡診断支援のための高速な特徴量抽出システム (2016)
  • Author(s): 清水 達也, 小出 哲士, Anh-Tuan Hoang, 杉 幸樹, 岡本 拓巳, 佐藤 光, 玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治
  • Organizer: 電子情報通信学会集積回路研究会 (ICD)
  • Place of Presentation: 広島県東広島市
  • Year and Date: 2016-03-02 – 2016-03-04
• [Presentation] 大腸内視鏡画像診断支援のためのVisual Word特徴量変換システム (2016)
  • Author(s): 杉 幸樹, 小出 哲士, 清水 達也, 岡本 拓巳, Anh-Tuan Hoang, 佐藤 光, 玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治
  • Organizer: 電子情報通信学会集積回路研究会 (ICD)
  • Place of Presentation: 広島県東広島市
  • Year and Date: 2016-03-02 – 2016-03-04
• [Presentation] Support Vector Machineを用いた大腸内視鏡画像診断支援タイプ識別システム (2016)
  • Author(s): 岡本 拓巳, 小出 哲士, 清水 達也, 杉 幸樹, Anh-Tuan Hoang, 佐藤 光, 玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治
  • Organizer: 電子情報通信学会集積回路研究会 (ICD)
  • Place of Presentation: 広島県東広島市
  • Year and Date: 2016-03-02 – 2016-03-04
• [Presentation] Transfer Learning for Endoscopic Image Classification (2016)
  • Author(s): S. Sonoyama, T. Tamaki, T. Hirakawa, B. Raytchev, K. Kaneda, T. Koide, S. Yoshida, H. Mieno, S. Tanaka
  • Organizer: Korea-Japan joint Workshop on Frontiers of Computer Vision (FCV2016)
  • Place of Presentation: Takayama, Gifu, Japan
  • Year and Date: 2016-02-17 – 2016-02-19
  • Int'l Joint Research
• [Presentation] Computer-Aided Colorectal Tumor Classification in NBI Endoscopy Using CNN Features (2016)
  • Author(s): Toru Tamaki, Shoji Sonoyama, Tsubasa Hirakawa, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Shigeto Yoshida, Hiroshi Mieno and Shinji Tanaka
  • Organizer: Korea-Japan joint Workshop on Frontiers of Computer Vision (FCV2016)
  • Place of Presentation: Takayama, Gifu, Japan
  • Year and Date: 2016-02-17 – 2016-02-19
  • Int'l Joint Research
• [Presentation] 大腸内視鏡画像認識のための転移学習手法 (2016)
  • Author(s): 園山昌司, 平川翼, 玉木徹, 栗田多喜夫, Bisser Raytchev, 金田和文, 小出哲士, 吉田成人, 三重野 寛, 田中信治
  • Organizer: 電子情報通信学会 医用画像研究会(MI)
  • Place of Presentation: 沖縄県那覇市
  • Year and Date: 2016-01-19 – 2016-01-20
• [Presentation] ロバストな診断支援システムを実現するボトムアップ特徴量構築アーキテクチャ (2015)
  • Author(s): 杉 幸樹, 小出 哲士, 清水 達也, 岡本 拓巳, Anh-Tuan Hoang, 佐藤 光, 玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治
  • Organizer: 電子情報通信学会リコンフィギュラブルシステム研究会(RECONF)
  • Place of Presentation: 長崎市長崎勤労福祉会館
  • Year and Date: 2015-11-30 – 2015-12-02
• [Presentation] リアルタイム消化管内視鏡診断支援に適した特徴量抽出アーキテクチャ (2015)
  • Author(s): 清水 達也, 小出 哲士, 杉 幸樹, 岡本 拓巳, Anh-Tuan Hoang, 佐藤 光, 玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治
  • Organizer: 電子情報通信学会リコンフィギュラブルシステム研究会(RECONF)
  • Place of Presentation: 長崎市長崎勤労福祉会館
  • Year and Date: 2015-11-30 – 2015-12-02
• [Presentation] 大腸内視鏡画像タイプ識別のためのSVM推定確率算出ハードウェア (2015)
  • Author(s): 岡本 拓巳, 小出 哲士, 清水 達也, 杉 幸樹, Anh-Tuan Hoang, 佐藤 光, 玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治
  • Organizer: 情報処理学会システムとLSIの設計技術研究会（SLDM）
  • Place of Presentation: 長崎市長崎勤労福祉会館
  • Year and Date: 2015-11-30 – 2015-12-02
• [Presentation] 大全画面大腸内視鏡画像に適したリアルタイム特徴量抽出のFPGA実装 (2015)
  • Author(s): 清水 達也，小出 哲士，杉幸樹，岡本 拓巳，Anh-Tuan Hoang，玉木 徹，Bisser Raytchev，金田 正文，吉田 成人，三重野 寛，田中 信治
  • Organizer: 情報処理学会DAシンポジウム2015
  • Place of Presentation: 石川県加賀市
  • Year and Date: 2015-08-26 – 2015-08-28
• [Presentation] 大腸内視鏡診断支援のための高速Visual Word特徴量変換のFPGA実装 (2015)
  • Author(s): 杉幸樹，小出哲士，清水達也，岡本拓巳，Anh-Tuan Hoang，佐藤光，玉木徹，Bisser Raytchev，金田和文，吉田成人，三重野寛，田中信治
  • Organizer: 情報処理学会DAシンポジウム2015
  • Place of Presentation: 石川県加賀市
  • Year and Date: 2015-08-26 – 2015-08-28
• [Presentation] 大腸内視鏡画像のタイプ識別に適したSVMのFPGA実装 (2015)
  • Author(s): 岡本拓巳，小出哲士，清水達也，杉幸樹，Anh-Tuan Hoang，佐藤光，玉木徹，Bisser Raytchev，金田和文，吉田成人，三重野寛，田中信治
  • Organizer: 情報処理学会DAシンポジウム2015
  • Place of Presentation: 石川県加賀市
  • Year and Date: 2015-08-26 – 2015-08-28
• [Presentation] Image Segmentation of Pyramid Style Identifier based on Support Vector Machine for Colorectal Endoscopic Images (2015)
  • Author(s): T. Okamoto, T. Koide, A. T. Hoang, T. Shimizu, K. Sugi, H. Sato, T. Tamaki, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
  • Organizer: The 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2015)
  • Place of Presentation: Mico-Milano Conference Center, Milan, Italy
  • Year and Date: 2015-08-25 – 2015-08-29
  • Int'l Joint Research
• [Presentation] Transfer Learning for Bag-of-Visual Words Approach to NBI endoscopic image classification (2015)
  • Author(s): Shoji Sonoyama, Tsubasa Hirakawa, Toru Tamaki, Takio Kurita, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Shigeto Yoshida, Yoko Kominami, Shinji Tanaka
  • Organizer: The 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2015)
  • Place of Presentation: Mico-Milano Conference Center, Milan, Italy
  • Year and Date: 2015-08-25 – 2015-08-29
  • Int'l Joint Research
• [Presentation] Effective Diagnostic Image Segmentation with Pyramid Style Support Vector Machine for Colorectal Endoscopic Images (2015)
  • Author(s): T. Okamoto, T. Koide, A. T. Hoang, T. Shimizu, K. Sugi, H. Sato, T. Tamaki, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
  • Organizer: The 30th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC 2015)
  • Place of Presentation: Grand Hilton, Seoul, Korea
  • Year and Date: 2015-06-29 – 2015-07-02
  • Int'l Joint Research
• [Presentation] 大腸内視鏡診断支援のための複数サイズの階層的検出ウィンドウを用いたタイプ識別ハードウェア (2015)
  • Author(s): 岡本拓巳，小出哲士，清水達也，杉幸樹，Anh-Tuan Hoang，佐藤光，玉木徹，Bisser Raytchev，金田和文，吉田成人，三重野寛，田中信治
  • Organizer: 電子情報通信学会リコンフィギュラブルシステム研究会(RECONF)
  • Place of Presentation: 京都大学
  • Year and Date: 2015-06-19 – 2015-06-19
• [Presentation] Bag-of-Featuresに基づくVisual Word特徴量変換ハードウェアに関する考察 (2015)
  • Author(s): 杉幸樹，小出哲士，清水達也，岡本拓巳，Anh-Tuan Hoang，佐藤光，玉木徹，Bisser Raytchev，金田和文，吉田成人，三重野寛，田中信治
  • Organizer: 電子情報通信学会リコンフィギュラブルシステム研究会(RECONF)
  • Place of Presentation: 京都大学
  • Year and Date: 2015-06-19 – 2015-06-19
• [Presentation] 大腸内視鏡画像診断支援のためのリアルタイムD-SIFT特徴量抽出 (2015)
  • Author(s): 清水 達也，小出 哲士，杉幸樹，岡本 拓巳，Anh-Tuan Hoang，玉木 徹，Bisser Raytchev，金田 正文，吉田 成人，三重野 寛，田中 信治
  • Organizer: 第1回電子デバイス・回路・照明・システム関連教育・研究ワークショップ
  • Place of Presentation: 広島工業大学
  • Year and Date: 2015-05-23 – 2015-05-23
• [Remarks] 広島大学大学院先端物質科学研究科半導体集積科学専攻
  • URL: http://www.seis.hiroshima-u.ac.jp/
• [Remarks] 広島大学ナノデバイス・バイオ融合科学研究所論文刊行物
  • URL: http://www.rnbs.hiroshima-u.ac.jp/papers/
• [Remarks] 広島大学ナノデバイス・バイオ融合科学研究所学会発表リスト
  • URL: http://www.rnbs.hiroshima-u.ac.jp/conference.html
• [Remarks] 広島大学 学会賞等の受賞者 平成２７年度
  • URL: http://www.hiroshima-u.ac.jp/top/kenkyu/gakkaisyo/p_0iz7uw.html
• [Remarks] 広島大学ナノデバイス・バイオ融合科学研究所 平成27年度 受賞者紹介
  • URL: http://www.rnbs.hiroshima-u.ac.jp/award/award27.html