医学的知見を取り入れた内視鏡画像の認識とその臨床への応用

• Project/Area Number: 14J00223
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Single-year Grants
• Section: 国内
• Research Field: Perceptual information processing
• Research Institution: Hiroshima University
• Principal Investigator: 平川 翼 広島大学, 工学研究科, 特別研究員(DC1)
• Project Period (FY): 2014-04-25 – 2017-03-31
• Project Status: Completed (Fiscal Year 2016)
• Budget Amount: ¥2,500,000 (Direct Cost: ¥2,500,000); Fiscal Year 2016: ¥800,000 (Direct Cost: ¥800,000); Fiscal Year 2015: ¥800,000 (Direct Cost: ¥800,000); Fiscal Year 2014: ¥900,000 (Direct Cost: ¥900,000)
• Keywords: 内視鏡画像認識 / NBI内視鏡 / 領域分割 / tree of shapes / mathematical morphology / Tree of shapes / 内視鏡動画像認識 / パーティクルフィルタ / ディリクレ分布 / 焦点ぼけ情報

Outline of Annual Research Achievements

今年度は前年度に引き続き内視鏡画像全体を認識するための手法の開発に従事した．前年度にtree of shapesと呼ばれる階層的な画像の表現方法を用いた領域分割手法を検討したが，望ましい結果を得ることができなかった．この手法ではtree of shapes中の全てのノードで生成したヒストグラム特徴量を識別し，対応する画素または微小領域へ識別結果を割り当てることで，領域分割を実現しようと試みている．しかし，この方法では葉ノードに近い小さな領域に対応しているノードにおいて十分な識別性能を持つ特徴量を生成することが難しい．そのため，誤識別を起こしてしまい，不十分な領域分割結果を生成してしまうと考えられる．
そこで，上記の問題を考慮・改善することで高精度な領域分割を行う手法を開発した．tree of shapes中の葉ノード付近の小さな領域に対応するノードでは，十分な数のblob特徴量が無いために識別的な特徴量を生成することができず，誤識別の原因となると考えられる．そこで本手法では，tree of shapes中のすべてのノードの内，領域分割に有効とされる識別的なノードのみを選択・識別することで領域分割を実現する．識別的なノードを選択するためのパラメータとして，各ノードの面積に対する閾値を定義する．上記の手法を同時最適化問題として定義し，学習画像から領域分割に最適な閾値を求め，領域分割を実現する．
以上の結果をまとめ医用画像関連の国際会議にて発表し，画像認識関連の論文誌へ投稿した（現在査読中）．

Research Progress Status

28年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

28年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Defocus-aware Dirichlet particle filter for stable endoscopic video frame recognition (2016)
  • Author(s): Tsubasa Hirakawa, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Shigeto Yoshida, Yoko Kominami, Shinji Tanaka
  • Journal Title: Artificial Intelligence in Medicine Volume: 68 Pages: 1-16
  • DOI: 10.1016/j.artmed.2016.03.002
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Computer-aided diagnosis of colorectal polyp histology by using a real-time image recognition system and narrow-band imaging magnifying colonoscopy (2016)
  • Author(s): Yoko Kominami, Shigeto Yoshida, Shinji Tanaka, Yoji Sanomura, Tsubasa Hirakawa, Bisser Raytchev, Toru Tamaki, Tetsusi Koide, Kazufumi Kaneda, Kazuaki Chayama
  • Journal Title: Gastrointestinal Endoscopy Volume: 83 Issue: 3 Pages: 643-649
  • DOI: 10.1016/j.gie.2015.08.004
  • Peer Reviewed / Open Access
• [Presentation] 最適部分木選択による領域分割と大腸内視鏡画像への適用 (2017)
  • Author(s): 平川翼, 玉木徹, 栗田多喜夫, Bisser Raytchev, 金田和文, 小出哲士, 吉田成人, 三重野寛, 田中信治
  • Organizer: 医用画像研究会
  • Place of Presentation: 那覇市ぶんかテンブス館, 沖縄
• [Presentation] Discriminative Subtree Selection for NBI endoscopic image labeling (2016)
  • Author(s): Tsubasa Hirakawa, Toru Tamaki, Takio Kurita, Bisser Raytchev, Kazufumi Kaneda, Chaohui Wang, Laurent Najman, Tetsushi Koide, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
  • Organizer: The ACCV 2016 workshop on mathematical and computational methods in biomedical imaging and image analysis (MCBMIIA2016)
  • Place of Presentation: Taipei International Convention Center, Taipei, Taiwan
  • Year and Date: 2016-11-20
  • Int'l Joint Research
• [Presentation] Discriminative Subtree Selection for NBI Endoscopic Image Labeling (2016)
  • Author(s): Tsubasa Hirakawa, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
  • Organizer: International Symposium on Biomedical Engineering
  • Place of Presentation: Tokyo Medical and Dental University, Tokyo, Japan
  • Year and Date: 2016-11-10
• [Presentation] A Real-Time Feature Extraction Method for Colorectal Endoscopic Images toward Computer-Aided Diagnosis (2016)
  • Author(s): Takumi Okamoto, Tetsuhi Koide, Anh-Tuan Hoang, Tatsuya Shimizu, Koki Sugi, Toru Tamaki, Tsubasa Hirakawa, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
  • Organizer: International Symposium on Biomedical Engineering
  • Place of Presentation: Tokyo Medical and Dental University, Tokyo, Japan
  • Year and Date: 2016-11-10
• [Presentation] A Real-Time Feature Transformation Method for Colorectal Endoscopic Images toward Computer-Aided Diagnosis (2016)
  • Author(s): Takumi Okamoto, Tetsuhi Koide, Anh-Tuan Hoang, Tatsuya Shimizu, Koki Sugi, Toru Tamaki, Tsubasa Hirakawa, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
  • Organizer: International Symposium on Biomedical Engineering
  • Place of Presentation: Tokyo Medical and Dental University, Tokyo, Japan
  • Year and Date: 2016-11-10
• [Presentation] A Real-Time Type Identification Method for Colorectal Endoscopic Images toward Computer-Aided Diagnosis (2016)
  • Author(s): Takumi Okamoto, Tetsuhi Koide, Anh-Tuan Hoang, Tatsuya Shimizu, Koki Sugi, Toru Tamaki, Tsubasa Hirakawa, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka
  • Organizer: International Symposium on Biomedical Engineering
  • Place of Presentation: Tokyo Medical and Dental University, Tokyo, Japan
  • Year and Date: 2016-11-10
• [Presentation] Discriminative Subtree Selection for Texture Segmentation (2016)
  • Author(s): Tsubasa Hirakawa, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda
  • Organizer: 第19回画像の認識・理解シンポジウム(MIRU2016)
  • Place of Presentation: アクトシティ浜松, 静岡
  • Year and Date: 2016-08-01
• [Presentation] Transfer Learning for Endoscopic Image Classification (2016)
  • Author(s): Shoji Sonoyama, Toru Tamaki, Tsubasa Hirakawa, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Shigeto Yoshida, Hiroshi Mieno and Shinji Tanaka
  • Organizer: The Korea-Japan joint workshop on Frontiers of Computer Vision (FCV2016)
  • Place of Presentation: 岐阜県高山市 ひだホテルプラザ
  • Year and Date: 2016-02-17
  • Int'l Joint Research
• [Presentation] Computer-Aided Colorectal Tumor Classification in NBI Endoscopy Using CNN Features (2016)
  • Author(s): Toru Tamaki, Shoji Sonoyama, Tsubasa Hirakawa, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Shigeto Yoshida, Hiroshi Mieno and Shinji Tanaka
  • Organizer: The Korea-Japan joint workshop on Frontiers of Computer Vision (FCV2016)
  • Place of Presentation: 岐阜県高山市 ひだホテルプラザ
  • Year and Date: 2016-02-17
  • Int'l Joint Research
• [Presentation] 大腸内視鏡画像認識のための転移学習手法 (2016)
  • Author(s): 園山昌司, 平川翼, 玉木徹, 栗田多喜夫, Bisser Raychev, 金田和文, 小出哲士, 吉田成人, 三重野寛, 田中信治
  • Organizer: 医用画像研究会
  • Place of Presentation: 沖縄県那覇市 ぶんかテンブス館
  • Year and Date: 2016-01-19
• [Presentation] Transfer Learning for Bag-of-Visual Words Approach to NBI endoscopic image classification (2015)
  • Author(s): Shoji Sonoyama, Tsubasa Hirakawa, Toru Tamaki, Takio Kurita, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Shigeto Yoshida, Yoko Kominami, Shinji Tanaka
  • Organizer: IEEE International Conference of Engineering in Medicine and Biology Society (EMBC2015)
  • Place of Presentation: Milano Conference Center, Milano, Italy
  • Year and Date: 2015-08-25
  • Int'l Joint Research
• [Presentation] Trade-off between speed and performance for colorectal endoscopic NBI image classification (2015)
  • Author(s): Shoji Sonoyama, Toru Tamaki, Tsubasa Hirakawa, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Yoko Kominami, Shigeto Yoshida, Shinji Tanaka
  • Organizer: SPIE Medical Imaging 2015
  • Place of Presentation: Town & Country Resort and Convention Center San Diego, California, United States
  • Year and Date: 2015-02-27 – 2015-03-03
• [Presentation] 大腸NBI拡大内視鏡映像のリアルタイム認識システムの構築 (2014)
  • Author(s): 園山昌司, 平川翼, 玉木徹, Bisser Raytchev, 金田和文, 小出哲士, 小南陽子, 吉田成人, 田中信治
  • Organizer: 平成26年度 (第65回) 電気・情報関連学会中国支部連合大会
  • Place of Presentation: 福山大学
  • Year and Date: 2014-10-25
• [Presentation] SVM-MRF segmentation of colorectal NBI endoscopic images (2014)
  • Author(s): Tsubasa Hirakawa, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Tetsushi Koide, Yoko Kominami, Shigeto Yoshida, Shinji Tanaka
  • Organizer: IEEE International Conference of Engineering in Medicine and Biology Society (EMBC2014)
  • Place of Presentation: Sheraton Chicago Hotel and Towers, Chicago, IL, USA
  • Year and Date: 2014-08-26 – 2014-08-30
• [Presentation] SVMとMRFを用いた大腸NBI内視鏡画像の領域分割 (2014)
  • Author(s): 平川翼, 玉木徹, Bisser Raychev, 金田和文, 小出哲士, 小南陽子, 吉田成人, 田中信治
  • Organizer: MIRU 2014 画像の認識・理解シンポジウム
  • Place of Presentation: 岡山コンベンションセンター
  • Year and Date: 2014-07-28 – 2014-07-31
• [Patent(Industrial Property Rights)] 内視鏡画像診断支援システム (2015)
  • Inventor(s): 小出哲士，玉木徹，吉田成人，平川翼ら
  • Industrial Property Rights Holder: 小出哲士，玉木徹，吉田成人，平川翼ら
  • Industrial Property Rights Type: 特許
  • Filing Date: 2015-02-02
  • Overseas