消化管内視鏡リアルタイム診断支援システムのための基盤技術に関する研究

2016 Fiscal Year Annual Research Report

• Project/Area Number: 16J06130
• Research Institution: Hiroshima University
• Principal Investigator: 岡本 拓巳 広島大学, 先端物質科学研究科, 特別研究員(DC1)
• Project Period (FY): 2016-04-22 – 2019-03-31
• Keywords: 内視鏡リアルタイム診断支援 / ハードウェア実装 / Support Vector Machine / タイプ識別 / FPGA

Outline of Annual Research Achievements

本研究は以下の3つを研究目的としている．(1)ソフトウェアによるシステム構築では実現不可能な計算コストが高い処理をハードウェア状に実装することで1,000倍以上の処理高速化を行い，消化管内視鏡リアルタイム診断支援が実現できること．(2)内視鏡画像識別を高精度，高速に行うことで定量的かつ客観的指標による医師に対する診断支援が十分有効であり実用に足ること．(3)局所的特徴量と大局的特徴量とを組み合わせた消化器官の診断支援に有効な画像処理手法を開発し，システムが医歯を診断支援可能であること．
診断支援システムは，医師が診断の際に用いる内視鏡システムの映像データを入力とし，再設計可能なハードウェア上の処理を経て，出力用モニタへその処理結果を表示する．診断支援システムは医療現場から要求される処理性能である，処理速度5 frame per second (fps)，レイテンシ（処理遅延）1 秒以下，非腫瘍・腫瘍の識別精度90％以上を満たしている必要がある．
本年度は研究計画の第1年度目にあたり，研究実施計画に則り消化管内視鏡リアルタイム診断支援の実現に向け大腸Narrow Band Imaging (NBI) 拡大内視鏡をターゲットにしたリアルタイム診断支援プロトタイプシステムの開発に従事した．特にシステムのハードウェア実装に関して注力して研究を進めた．
特に重要な研究実績内容として，処理モジュールのうち，タイプ識別部と呼ばれる処理部のハードウェア実装に関して研究成果を報告した．タイプ識別部にはSupport Vector Machine (SVM)と呼ばれる識別手法を用いている．研究結果として，内視鏡映像30 fpsを10秒間処理（処理画像枚数300枚）した場合，ソフトウェア実装での処理時間は853.7秒に対してハードウェア実装では10.8秒と，医師の要求性能を満たすことが確認できた．

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本年度の研究進捗状況は，当初の計画以上に進展していると言える．
大腸内視鏡リアルタイム診断支援システムのハードウェア実装に向けて，主要な処理に対してアーキテクチャ設計を行い，再構成可能なFPGA上にハードウェア実装し，動作検証を行った．診断支援システムの処理モジュールのうち，Support Vector Machine (SVM)と呼ばれる教師あり学習による識別手法を用いたタイプ識別処理部のハードウェア実装に関して研究を邁進した．診断支援システムにおいて，内視鏡映像のリアルタイム全画面識別を実現するため，FPGAへのタイプ識別部ハードウェア実装を行いソフトウェア実装との処理時間を比較した．その結果として，内視鏡映像30 fpsを10秒間処理（処理画像枚数300枚）した場合，ソフトウェア実装での処理時間は853.7秒に対してハードウェア実装では10.8秒と，医師の要求性能を満たすことが確認できた．これらの研究成果をまとめた国内会の学会発表では，Outstanding Paper Awardや優秀発表学生賞にも選ばれ，集積回路・コンピュータシステムの研究分野における新規性・重要性が高く評価されている．
更に，実際の病院での臨床試験による評価・検証も行い，医師からのフィードバックを受け，更なる改良に邁進しているところである．これらの研究成果は複数の展示会での集客の状況からも，すばらしい研究結果であることが評価できる．現在これらの成果を学術論文として纏めており，更に，プロトタイプシステムの構築に向け，アルゴリズムやアーキテクチャの改良を行っている．

Strategy for Future Research Activity

今後の研究の推進方策としては，診断支援プロトタイプシステムの医療現場での臨床試験を行い，システムとしての医師からのフィードバック及び臨床データの収集，今後の改良案検討が挙げられる．
そのためには，これまで開発してきた各処理モジュールの統合，システム全体の実装の際にデータやタイミング調停などが問題無く行えていることの確認，評価が必要となる．また，高識別精度かつ高分解能な出力結果を得るために提案しているピラミッド型タイプ識別手法をシステムへ組み込むため，提案手法の各種パラメータの最適化を行う．各種パラメータの最適化には，ソフトウェアシミュレーションによる検証を行う．
並行して，プロトタイプシステムでの実施試験から得た知見を基に，医療現場から求められている高識別精度の確保を前提として，高速性と即応性を要求される倍以上の（10 fps(frame / sec.)かつ応答遅延0.5秒以内）で実現することを目指し，アーキテクチャを再検討することも考慮に入れて設計・評価を続ける．大腸内視鏡診断支援システムは，再設計可能なハードウェアであるFPGA上への実装を想定している．そのため，医師による臨床試験による検証及びフィードバックを継続的に反映することで，システムアップデートを定期的に行うことが可能である．大腸診断支援システム1stバージョン完成の段階で，学術雑誌への投稿を予定している．
また，胃内視鏡画像解析に適した大局的特徴量の収集アルゴリズム検討のため，画像処理ハードウェア分野だけでなく，画像処理ソフトウェア分野などの幅広い分野から情報を収集し，ソフトウェアシミュレーションによる検証を行っていく．現在は，局所的特徴量の抽出で用いている手法を応用して，特徴点を多く収集する方法を検討中である．

Research Products

• [Presentation] A Real-Time Visual Word Feature Transformation for Colorectal Endoscopic Images with NBI Magnification (2017)
  • Author(s): T. Okamoto, T. Koide, A. T. Hoang, T. Shimizu, K. Sugi, H. Sakurai, T. Tamaki, T. Hirakawa, B. Raychev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
  • Organizer: the International Workshop on Nanodevice Technologies 2017
  • Place of Presentation: 広島県
  • Year and Date: 2017-03-02 – 2017-03-02
• [Presentation] A Real-Time Type Identification based on Support Vector Machine for Colorectal Endoscopic Images with NBI Magnification (2017)
  • Author(s): T. Okamoto, T. Koide, A. T. Hoang, T. Shimizu, K. Sugi, H. Sakurai, T. Tamaki, T. Hirakawa, B. Raychev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
  • Organizer: the International Workshop on Nanodevice Technologies 2017
  • Place of Presentation: 広島県
  • Year and Date: 2017-03-02 – 2017-03-02
• [Presentation] A Real-Time D-SIFT Feature Extraction for Colorectal Endoscopic Images with NBI Magnification (2017)
  • Author(s): T. Okamoto, T. Koide, A. T. Hoang, T. Shimizu, K. Sugi, H. Sakurai, T. Tamaki, T. Hirakawa, B. Raychev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
  • Organizer: the International Workshop on Nanodevice Technologies 2017
  • Place of Presentation: 広島県
  • Year and Date: 2017-03-02 – 2017-03-02
• [Presentation] A Real-Time Feature Extraction Method for Colorectal Endoscopic Images toward Computer-Aided Diagnosis (2016)
  • Author(s): T. Okamoto, T. Koide, A. T. Hoang, T. Shimizu, K. Sugi, H. Sakurai, T. Tamaki, T. Hirakawa, B. Raychev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
  • Organizer: the 1st International Symposium on Biomedical Engineering
  • Place of Presentation: 東京都
  • Year and Date: 2016-11-10 – 2016-11-11
• [Presentation] A Real-Time Feature Transformation Method for Colorectal Endoscopic Images toward Computer-Aided Diagnosis (2016)
  • Author(s): T. Okamoto, T. Koide, A. T. Hoang, T. Shimizu, K. Sugi, H. Sakurai, T. Tamaki, T. Hirakawa, B. Raychev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
  • Organizer: the 1st International Symposium on Biomedical Engineering
  • Place of Presentation: 東京都
  • Year and Date: 2016-11-10 – 2016-11-11
• [Presentation] A Real-Time Type Identification Method for Colorectal Endoscopic Images toward Computer-Aided Diagnosis (2016)
  • Author(s): T. Okamoto, T. Koide, A. T. Hoang, T. Shimizu, K. Sugi, H. Sakurai, T. Tamaki, T. Hirakawa, B. Raychev, K. Kaneda, S. Yoshida, H. Mieno, S. Tanaka
  • Organizer: the 1st International Symposium on Biomedical Engineering
  • Place of Presentation: 東京都
  • Year and Date: 2016-11-10 – 2016-11-11
• [Presentation] An FPGA Implementation of SVM for Type Identification with Colorectal Endoscopic Images (2016)
  • Author(s): T. Okamoto, T. Koide, A. T. Hoang, T. Shimizu, K. Sugi, H. Sakurai, T. Tamaki, T. Hirakawa, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno and S. Tanaka
  • Organizer: the 20th Workshop on Synthesis And System Integration of Mixed Information technologies
  • Place of Presentation: 京都府
  • Year and Date: 2016-10-24 – 2016-10-25
  • Int'l Joint Research
• [Presentation] ハードウェア・ソフトウェア協調設計によるSVMを用いた大腸内視鏡診断支援システム (2016)
  • Author(s): 岡本 拓巳, 小出 哲士, Anh-Tuan Hoang, 清水 達也, 杉 幸樹,玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治
  • Organizer: DAシンポジウム2016
  • Place of Presentation: 石川県
  • Year and Date: 2016-09-14 – 2016-09-16
• [Presentation] A Hardware Accelerator for Bag-of Features based Visual Word Transformation in Computer Aided Diagnosis for Colorectal Endoscopic Images (2016)
  • Author(s): T. Koide, T. Okamoto, T. Shimizu, K. Sugi, A. T. Hoang, T. Tamaki, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno and S. Tanaka
  • Organizer: The 31st International Technical Conference on Circuits/Systems, Computers and Communications
  • Place of Presentation: 沖縄県
  • Year and Date: 2016-07-10 – 2016-07-13
  • Int'l Joint Research
• [Presentation] Compact and High-Speed Hardware Feature Extraction Accelerator for Dense Scale-Invariant Feature Transform (2016)
  • Author(s): T. Koide, T. Okamoto, T. Shimizu, K. Sugi, A. T. Hoang, T. Tamaki, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno and S. Tanaka
  • Organizer: The 31st International Technical Conference on Circuits/Systems, Computers and Communications
  • Place of Presentation: 沖縄県
  • Year and Date: 2016-07-10 – 2016-07-13
  • Int'l Joint Research
• [Presentation] 大腸内視鏡リアルタイム診断支援のためのプロトタイプシステムの開発 (2016)
  • Author(s): 岡本 拓巳, 小出 哲士, 清水 達也, 杉 幸樹, Anh-Tuan Hoang, 玉木 徹, Bisser Raytchev, 金田 和文, 吉田 成人, 三重野 寛, 田中 信治
  • Organizer: LSIとシステムのワークショップ2016
  • Place of Presentation: 東京都
  • Year and Date: 2016-05-16 – 2016-05-17