Polyp 3D Shape Information Acquisition from Endoscopic Images for Computer-Aided Diagnosis

2020 Fiscal Year Annual Research Report

• Project/Area Number: 19K24370
• Research Institution: Chubu University
• Principal Investigator: 宇佐美 裕康 中部大学, 工学部, 助教 (10847669)
• Project Period (FY): 2019-08-30 – 2021-03-31
• Keywords: 内視鏡医療支援システム / ３次元形状情報獲得 / Deep Learning / 血管領域抽出 / 敵対的生成ネットワーク / 画像生成 / Shape from Shading

Outline of Annual Research Achievements

本年度の研究実績として，内視鏡画像より深層学習により血管領域を大域的に抽出する深層学習ネットワークの構築に関する研究開発を実施した．また，抽出した血管領域より，グラフマッチングの手法を適用し，高精度な血管構造解析手法の研究開発を実施した．
その結果，血管の分岐点，主流，分流の情報を獲得を実現し，血管構造を構成する血流の流量に着目することで，血管の幾何学的情報獲得に関する研究を行なった．具体的には，血管の主流，分流の血流に関して，血流量で偏微分することで，血管の主流，分流で整合性の取れる領域について血管の半径等の幾何学情報が正しく得られる領域とし，光学的形状復元アプローチの一種であるSFS（Shape from Shading）に必要となる該当血管領域における光の反射係数獲得を行なった．これらの研究結果により，血管の潜在的幾何情報と光学的制約式を融合する新たな３次形状獲得手法の基礎を確立した．
また，本研究課題の支援を受け，研究課題の派生として，深層学習による癌の良性・悪性分類に関する研究を行い．一般的な白色光源で構成される内視鏡において，従来より高精度な癌の良性・悪性分類を実現した．加えて従来，物理的に光帯域を制限することで，血管観察に有効な内視鏡画像の撮影を実現していたが，深層学習により，ソフトウェアベースで血管観察に有効な内視鏡画像生成技術を確立している．
これらの研究実績に関しては，学会誌，国際会議等で発表し，現在は特許申請の準備を進めている．

Research Products

• [Int'l Joint Research] Indian Institute of Technology Guwahati(インド)
  • Country Name: INDIA
  • Counterpart Institution: Indian Institute of Technology Guwahati
• [Int'l Joint Research] Chulalongkorn University(タイ)
  • Country Name: THAILAND
  • Counterpart Institution: Chulalongkorn University
• [Int'l Joint Research] Harbin Univ. of Science and Technology(中国)
  • Country Name: CHINA
  • Counterpart Institution: Harbin Univ. of Science and Technology
• [Journal Article] Colorectal Polyp Classification Based On Latent Sharing Features Domain from Multiple Endoscopy Images (2020)
  • Author(s): Usami, H., Iwahori, Y., Adachi, Y., Bhuyan, M. K., Wang, A., Inoue, S., ... & Kasugai, K.
  • Journal Title: Procedia Computer Science Volume: 176 Pages: pp.2507-2514
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Graph Matching Approach between Endoscope Images for Non-Rigid Motion using Blood Vessel Structure (2020)
  • Author(s): Emoto, S., Iwahori, Y., Funahashi, K., Usami, H., Ogasawara, N., & Kasugai, K.
  • Journal Title: Procedia Computer Science Volume: 176 Pages: pp.1754-1762
  • Peer Reviewed / Int'l Joint Research
• [Presentation] PoC貧乏を防ぐファクターXについて-画像処理技術からの一考察- (2021)
  • Author(s): 宇佐美裕康
  • Organizer: 2021年電子情報通信学会総合大会
  • Invited
• [Presentation] Blood Vessel Structure Analysis in Endoscopic Images for Computer-Aided Diagnosis (2020)
  • Author(s): Kato, S., Usami, H., Iwahori, Y., Okazaki, A., Kijsirikul, B., Ogasawara, N., & Kasugai, K.
  • Organizer: 9th International Congress on Advanced Applied Informatics, IEEE
  • Int'l Joint Research
• [Presentation] Detection of Lymph Nodes using CNN from Contrast-Enhanced CT Images (2020)
  • Author(s): Ono, T., Iwahori, Y., Usami, H., Kijsirikul, B., Bhuyan, M. K., Oshiro, T., & Shimizu, Y.
  • Organizer: 9th International Congress on Advanced Applied Informatics, IEEE
  • Int'l Joint Research
• [Presentation] Pore Detection from Human Skin Image using U-Net (2020)
  • Author(s): Kachi, K., Iwahori, Y., Usami, H., Fukui, S., Wang, A., & Bhuyan, M. K.
  • Organizer: 9th International Congress on Advanced Applied Informatics, IEEE
  • Int'l Joint Research
• [Presentation] スタイル変換ネットワークにおける中間層を用いたポリープ有無の分類 (2020)
  • Author(s): 朝日一憲，岩堀祐之，宇佐美裕康，小笠原尚高，春日井邦夫
  • Organizer: 令和2年度電気・電子・情報関係学会東海支部連合大会
• [Presentation] 医用画像診断支援を目的とした内視鏡画像における血管構造解析 (2020)
  • Author(s): 加藤俊輔，宇佐美裕康，岩堀祐之，岡崎明彦，小笠原尚高，春日井邦夫
  • Organizer: 令和2年度電気・電子・情報関係学会東海支部連合大会
• [Presentation] 内視鏡画像の血管構造に着目したグラフマッチング手法 (2020)
  • Author(s): 江本峻, 岩堀祐之, 舟橋健司, 宇佐美裕康, 小笠原尚高, 春日井邦夫
  • Organizer: 第18回情報学ワークショップ(WiNF)
• [Presentation] CNNを用いた造影CT画像からのリンパ節の検出 (2020)
  • Author(s): 大野樹生, 岩堀祐之, 宇佐美裕康, 大城泰平, 清水泰博
  • Organizer: MIRU 2020
• [Presentation] U-Netを用いた人の皮膚画像からの毛穴検出 (2020)
  • Author(s): 可知奎介, 岩堀祐之, 宇佐美裕康, 福井真二
  • Organizer: MIRU 2020
• [Presentation] 血管構造に基づく非剛体運動のための画像マッチング手法 (2020)
  • Author(s): 江本峻, 岩堀祐之, 舟橋健司, 宇佐美裕康, 小笠原尚高, 春日井邦夫
  • Organizer: MIRU 2020
• [Presentation] 内視鏡画像における良性悪性腫瘍分類のための深層学習モデル (2020)
  • Author(s): 伊藤能平, 宇佐美裕康, 岩堀祐之, 小笠原尚高, 春日井邦夫
  • Organizer: 知能情報ファジィ学会東海支部
• [Remarks] researchmap
  • URL: https://researchmap.jp/usahiro