Robust and precise 3D endoscope system based on pattern projection and deep learning

2022 Fiscal Year Final Research Report

• Project/Area Number: 18H04119
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Kindai University (2021-2022); Hiroshima City University (2018-2020)
• Principal Investigator: Ryo Furukawa 近畿大学, 工学部, 教授 (50295838)
• Co-Investigator(Kenkyū-buntansha): 田中 信治 広島大学, 病院(医), 教授 (00260670) ; 佐川 立昌 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (30362627) ; 岡 志郎 広島大学, 病院(医), 講師 (30403538) ; 川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393) ; 宮崎 大輔 広島市立大学, 情報科学研究科, 准教授 (30532957) ; 馬場 雅志 広島市立大学, 情報科学研究科, 講師 (30281281) ; 日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Keywords: 能動ステレオ / 内視鏡 / 構造化光 / パターン光源 / 微分レンダリング

Outline of Final Research Achievements

In this study, research and development of a three-dimensional endoscope system based on active stereo methods was carried out. Specifically, we developed an ultra-compact wide-angle pattern light source that can be inserted into the forceps hole of an endoscope and can utilise the endoscope's wide-angle camera. For 3D shape estimation with the developed wide-angle pattern, a single-image 3D measurement technique based on high-density correspondence estimation using a deep learning model was developed. In addition, an algorithm was developed to integrate the results of measurements made with multiple frames in the above system without any inconsistencies. This development showed that it is possible to measure high-density 3D shapes using most of the endoscope's field of view and to integrate them in multiple frames.

Free Research Field

コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

本研究では，能動ステレオ法による3次元内視鏡システムについて，計測範囲，計測密度を大幅に高めることに成功した．また，複数のフレームにわたって計測した計測結果を，矛盾なく統合する機能を実現した．これにより，計測システムとしての実用性を，大幅に高めることができた．開発された3次元形状計測システムは，医学的用途のみならず，工業用途（パイプの内側の計測など）などへの応用も期待できる．